Doris實時數(shù)據(jù)倉庫理論與實戰(zhàn)

第 1 章   初識 Doris
1.1     Doris 概述
1.2     Doris 的應用場景
1.2.1    報表分析
1.2.2    即席查詢(Ad-Hoc Query) 
1.2.3    統(tǒng)一數(shù)倉構(gòu)建
1.2.4    數(shù)據(jù)湖聯(lián)邦查詢
1.3      Doris 的架構(gòu)原理
1.4      Doris 的特點
1.4.1    支持標準 SQL 接口
1.4.2    列式存儲引擎
1.4.3    支持豐富的索引結(jié)構(gòu)
1.4.4    支持多種存儲模型
1.4.5    支持物化視圖
1.4.6    MPP 架構(gòu)設計
1.4.7     支持向量化查詢引擎
1.4.8    動態(tài)調(diào)整執(zhí)行計劃
1.4.9    采用CBO 和 RBO 查詢優(yōu)化器
1.5      Doris 部署
1.5.1    開發(fā)測試環(huán)境/生產(chǎn)配置建議
1.5.2    Broker 部署介紹
1.5.3    操作系統(tǒng)安裝要求
1.5.4    網(wǎng)絡需求
1.6     Doris 分布式部署
1.6.1    Doris 下載
1.6.2    節(jié)點劃分
1.6.3    節(jié)點配置
1.6.4    FE部署及啟動
1.6.5    FE擴縮容
1.6.6    BE部署及啟動
1.6.7    BE擴縮容
1.6.8    Broker 部署(可選)
1.6.9    Doris 集群啟停腳本
第 2 章   Doris 數(shù)據(jù)表設計
2.1     Doris 簡單使用
2.1.1     創(chuàng)建用戶
2.1.2     創(chuàng)建數(shù)據(jù)庫
2.1.3     賬戶賦權
2.1.4     創(chuàng)建數(shù)據(jù)表
2.1.5     查詢數(shù)據(jù)表
2.2      Doris 基礎
2.2.1     建表語法及參數(shù)解釋
2.2.2     數(shù)據(jù)類型
2.3      數(shù)據(jù)存儲模型基礎
2.3.1    Aggregate 數(shù)據(jù)存儲模型
2.3.2    Unique 數(shù)據(jù)存儲模型
2.3.3    Duplicate 數(shù)據(jù)存儲模型
2.3.4     聚合模型的局限性
2.3.5     數(shù)據(jù)模型的選擇建議
2.4      列定義建議
2.5      分區(qū)和分桶基礎
2.5.1     分區(qū)
2.5.2     分桶
2.5.3     復合分區(qū)使用場景
2.6     Properties 配置項
2.7      關于 ENGINE
2.8      Doris 索引
2.8.1     前綴索引
2.8.2     Bitmap 索引
2.8.3    Bloom Filter 索引
2.9     Rollup 物化索引
2.9.1    Rollup 物化索引的創(chuàng)建與操作
2.9.2    Rollup 物化索引的作用
第 3 章   Doris 數(shù)據(jù)導入
3.1    Insert   Into
3.1.1    語法及參數(shù)
3.1.2    案例
3.2    Binlog Load
3.2.1    基本原理
3.2.2    canal 原理及配置
3.2.3    Doris 同步MySQL 數(shù)據(jù)案例
3.2.4    注意事項
3.3     Broker Load
3.3.1    基本原理
3.3.2    Broker Load 語法
3.3.3    案例
3.3.4    注意事項
3.4     HDFS Load
3.5     Spark Load
3.5.1   基本原理
3.5.2   Spark 集群搭建
3.5.3    Doris 配置 Spark 與 Yarn
3.5.4    Doris 創(chuàng)建 Spark Resource
3.5.5    Spark Load 語法和結(jié)果
3.5.6    Spark Load 導入 HDFS 數(shù)據(jù)
3.5.7    使用 Spark Load 導入Hive 數(shù)據(jù)
3.5.8    注意事項
3.6     Routine  Load
3.6.1   Routine Load 語法
3.6.2    嚴格模式
3.6.3    案例
3.6.4    注意事項
3.7     Stream Load
3.7.1    基本原理
3.7.2    語法與結(jié)果
3.7.3    開啟 Steam Load 記錄
3.7.4    案例
3.7.5    注意事項
3.8     通過外部表同步數(shù)據(jù)到 Doris
3.9      總結(jié)
第  4  章   Doris 數(shù)據(jù)導出及數(shù)據(jù)管理
4.1     Export 導出
4.1.1    導出原理
4.1.2    Export 語法和結(jié)果
4.1.3    Doris 數(shù)據(jù)導出到 HDFS 案例
4.1.4    注意事項
4.2     Select into outfile 導出
4.2.1    Select  into outfile  語法和結(jié)果
4.2.2    Doris 數(shù)據(jù)導出到HDFS 案例
4.2.3    Doris 數(shù)據(jù)導出到本地案例
4.2.4    注意事項
4.3     MySQL dump 導出
4.3.1    dump 導出案例
4.3.2    注意事項
4.4     BACKUP 數(shù)據(jù)備份
4.4.1   BACKUP 原理
4.4.2    BACKUP 語法
4.4.3    BACKUP 數(shù)據(jù)備份案例
4.4.4    注意事項
4.5      RESTORE 數(shù)據(jù)恢復
4.5.1    RESTORE 數(shù)據(jù)恢復原理
4.5.2    RESTORE 數(shù)據(jù)恢復語法
4.5.3    RESTORE 數(shù)據(jù)恢復案例
4.5.4    注意事項
4.6     RECOVER 數(shù)據(jù)刪除恢復
4.6.1    RECOVER 語法
4.6.2    數(shù)據(jù)恢復案例
第  5  章   Doris 數(shù)據(jù)更新與刪除
5.1    Update 數(shù)據(jù)更新
5.1.1    Update 原理
5.1.2    Update 數(shù)據(jù)更新案例
5.1.3    Update 使用注意事項
5.2     Delete 數(shù)據(jù)刪除
5.2.1    Delete 語法
5.2.2    Delete 刪除返回結(jié)果
5.2.3    Delete 刪除案例
5.2.4    Delete 相關配置
5.3     Sequence 列
5.3.1    基本原理
5.3.2    使用語法
5.3.3   Sequence 列使用案例
5.4     批量刪除
5.4.1    批量刪除原理
5.4.2    批量刪除案例
第 6 章   Doris 進階
6.1      表結(jié)構(gòu)變更
6.1.1    Schema Change
6.1.2    替換表
6.2     動態(tài)分區(qū)
6.2.1    動態(tài)分區(qū)使用及參數(shù)
6.2.2    創(chuàng)建歷史分區(qū)規(guī)則
6.2.3    動態(tài)分區(qū)案例
6.2.4    查看動態(tài)分區(qū)表調(diào)度情況
6.2.5    動態(tài)分區(qū)注意點
6.3     數(shù)據(jù)緩存
6.3.1    SQLCache
6.3.2    PartitionCache
6.3.3    緩存使用方式
6.3.4    優(yōu)化參數(shù)
6.3.5    目前不足
6.4     Doris Join 類型
6.4.1    Broadcast Join
6.4.2    Shuffle Join
6.4.3    Bucket Shuffle Join
6.4.4    Colocation Join
6.4.5    4種 Join 對比
6.5     Runtime Filter
6.5.1    Runtime Filter 原理
6.5.2    使用方式
6.5.3    Runtime Filter 案例操作
6.6      Join 優(yōu)化原理
6.6.1   Runtime Filter Join 優(yōu)化
6.6.2   Join Reorder
6.6.3   Doris Join 調(diào)優(yōu)方法
6.6.4   Doris Join 調(diào)優(yōu)建議
6.7     BITMAP 精準去重
6.8      物化視圖
6.8.1   物化視圖使用場景及優(yōu)勢
6.8.2   物化視圖&Rollup 對比
6.8.3   物化視圖語法
6.8.4   物化視圖使用案例
6.8.5   物化視圖刪除
6.8.6   物化視圖局限性
第 7 章   Doris 生態(tài)擴展
7.1    Spark Doris Connector
7.1.1    Spark 與 Doris 版本兼容
7.1.2    Spark Doris Connector 源碼編譯
7.1.3    Spark Doris Connector 使用
7.1.4    Spark  操作 Doris 配置
7.1.5    Spark 和 Doris 列類型映射關系
7.2    Flink  Doris  Connector
7.2.1    Flink Doris Connector 源碼編譯
7.2.2    Flink Doris Connector 使用
7.2.3    Flink 操作 Doris 配置
7.2.4    Flink 和 Doris 列類型映射關系
7.3    DataX DorisWriter
7.3.1    DorisWriter 插件集成 DataX 編譯
7.3.2    DataX 安 裝
7.3.3    DorisWriter 參數(shù)
7.3.4    DataX 同步 MySQL 數(shù)據(jù)到 Doris
7.4    JDBC Catalog
7.4.1    創(chuàng)建 Catalog
7.4.2    數(shù)據(jù)查詢
7.4.3    列類型映射
7.4.4    Doris JDBC 方式操作 MySQL 數(shù)據(jù)
7.5     Doris 優(yōu)化