Greenplum構建實時數據倉庫實踐

第1章 數據倉庫簡介 1
1.1 什么是數據倉庫 1
1.1.1 數據倉庫的定義 2
1.1.2 建立數據倉庫的原因 3
1.2 操作型系統(tǒng)與分析型系統(tǒng) 5
1.2.1 操作型系統(tǒng) 5
1.2.2 分析型系統(tǒng) 7
1.2.3 操作型系統(tǒng)和分析型系統(tǒng)的對比 8
1.3 抽取—轉換—裝載 10
1.3.1 數據抽取 10
1.3.2 數據轉換 12
1.3.3 數據裝載 13
1.3.4 開發(fā)ETL系統(tǒng)的方法 13
1.4 數據倉庫架構 14
1.4.1 基本架構 14
1.4.2 主要數據倉庫架構 15
1.4.3 操作型數據存儲 19
1.5 實時數據倉庫 19
1.5.1 流式處理 20
1.5.2 實時計算 21
1.5.3 實時數據倉庫解決方案 24
1.6 小結 26
第2章 數據倉庫設計基礎 27
2.1 關系數據模型 27
2.1.1 關系數據模型中的結構 27
2.1.2 關系完整性 30
2.1.3 關系數據庫語言 31
2.1.4 規(guī)范化 32
2.1.5 關系數據模型與數據倉庫 34
2.2 維度數據模型 36
2.2.1 維度數據模型建模過程 36
2.2.2 維度規(guī)范化 37
2.2.3 維度數據模型的特點 38
2.2.4 星型模式 39
2.2.5 雪花模式 41
2.3 Data Vault模型 43
2.3.1 Data Vault模型簡介 43
2.3.2 Data Vault模型的組成部分 43
2.3.3 Data Vault模型的特點 45
2.3.4 Data Vault模型的構建 45
2.3.5 Data Vault模型實例 46
2.4 數據集市 50
2.5 數據倉庫實施步驟 51
2.6 小結 54
第3章 Greenplum與數據倉庫 55
3.1 Greenplum簡介 55
3.1.1 歷史與現狀 55
3.1.2 MPP——一切皆并行 56
3.2 Greenplum系統(tǒng)架構 57
3.2.1 Greenplum與PostgreSQL 57
3.2.2 Master 58
3.2.3 Segment 58
3.2.4 Interconnect 59
3.3 Greenplum功能特性 59
3.3.1 存儲模式 59
3.3.2 事務與并發(fā)控制 63
3.3.3 并行查詢 69
3.3.4 并行數據裝載 72
3.3.5 冗余與故障轉移 73
3.3.6 數據庫統(tǒng)計 76
3.4 為什么選擇Greenplum 79
3.4.1 Greenplum還是SQL-on-Hadoop 79
3.4.2 適合DBA的解決方案 82
3.4.3 Greenplum的局限 86
3.5 小結 87
第4章 Greenplum安裝部署 88
4.1 平臺需求 88
4.1.1 操作系統(tǒng) 88
4.1.2 硬件和網絡 89
4.1.3 文件系統(tǒng) 90
4.2 容量評估 90
4.2.1 可用磁盤空間 91
4.2.2 用戶數據容量 91
4.2.3 元數據和日志空間 92
4.2.4 RAID劃分最佳實踐 92
4.3 操作系統(tǒng)配置 93
4.3.1 安裝操作系統(tǒng) 94
4.3.2 禁用SELinux和防火墻 95
4.3.3 操作系統(tǒng)推薦配置 95
4.3.4 時鐘同步 99
4.3.5 創(chuàng)建Greenplum管理員賬號 100
4.3.6 安裝JDK（可選） 101
4.4 安裝Greenplum軟件 101
4.4.1 安裝軟件包 101
4.4.2 配置免密SSH 102
4.4.3 確認軟件安裝 103
4.5 初始化Greenplum數據庫系統(tǒng) 103
4.5.1 創(chuàng)建數據存儲區(qū) 103
4.5.2 驗證系統(tǒng) 104
4.5.3 初始化數據庫 106
4.5.4 設置Greenplum環(huán)境變量 108
4.6 允許客戶端連接 109
4.7 修改Greenplum配置參數 110
4.8 后續(xù)步驟 112
4.8.1 創(chuàng)建臨時表空間 112
4.8.2 創(chuàng)建數據庫用戶 113
4.9 Greenplum升級 114
4.9.1 升級條件 114
4.9.2 升級步驟 114
4.10 小結 114
第5章 實時數據同步 116
5.1 數據抽取方式 116
5.1.1 基于源數據的CDC 117
5.1.2 基于觸發(fā)器的CDC 118
5.1.3 基于快照的CDC 119
5.1.4 基于日志的CDC 119
5.2 MySQL數據復制 120
5.2.1 復制的用途 121
5.2.2 二進制日志binlog 121
5.2.3 復制的步驟 122
5.3 使用Kafka 124
5.3.1 Kafka基本概念 124
5.3.2 Kafka消費者與分區(qū) 127
5.4 選擇主題分區(qū)數 129
5.4.1 使用單分區(qū) 129
5.4.2 如何選定分區(qū)數量 131
5.5 Maxwell + Kafka + Bireme 132
5.5.1 總體架構 132
5.5.2 Maxwell安裝配置 135
5.5.3 Bireme安裝配置 137
5.5.4 如何保證數據的順序消費 141
5.5.5 實時CDC 142
5.6 Canal Server + Kafka + Canal ClientAdapter 148
5.6.1 總體架構 148
5.6.2 Canal Server安裝配置 150
5.6.3 Canal ClientAdapter安裝配置 152
5.6.4 配置HA模式 154
5.6.5 實時CDC 157
5.6.6 消費延遲監(jiān)控 158
5.7 小結 161
第6章 實時數據裝載 162
6.1 建立數據倉庫示例模型 163
6.1.1 業(yè)務場景 163
6.1.2 建立數據庫表 165
6.1.3 生成日期維度數據 173
6.2 初始裝載 173
6.2.1 數據源映射 174
6.2.2 確定SCD處理方法 174
6.2.3 實現代理鍵 175
6.2.4 執(zhí)行初始裝載 175
6.3 實時裝載 178
6.3.1 識別數據源與裝載類型 178
6.3.2 配置增量數據同步 179
6.3.3 在Greenplum中創(chuàng)建規(guī)則 180
6.3.4 啟動實時裝載 183
6.3.5 測試 184
6.4 動態(tài)分區(qū)滾動 187
6.5 小結 189
第7章 維度表技術 190
7.1 增加列 190
7.2 維度子集 197
7.3 角色扮演維度 200
7.4 層次維度 205
7.4.1 固定深度的層次 205
7.4.2 多路徑的層次 207
7.4.3 參差不齊的層次 209
7.5 退化維度 211
7.6 雜項維度 215
7.7 維度合并 220
7.8 分段維度 225
7.9 小結 230
第8章 事實表技術 231
8.1 事實表概述 231
8.2 周期快照 232
8.3 累積快照 236
8.4 無事實的事實表 245
8.5 遲到的事實 248
8.6 累積度量 256
8.7 小結 262
第9章 Greenplum運維與監(jiān)控 263
9.1 權限與角色管理 263
9.1.1 Greenplum中的角色與權限 263
9.1.2 管理角色及其成員 264
9.1.3 管理對象權限 266
9.1.4 口令加密 267
9.2 數據導入導出 268
9.2.1 file://協議及其外部表 268
9.2.2 gpfdist及其外部表 270
9.2.3 基于Web的外部表 271
9.2.4 外部表錯誤處理 274
9.2.5 使用gpload導入數據 274
9.2.6 使用COPY互拷數據 276
9.2.7 導出數據 278
9.2.8 格式化數據文件 280
9.3 性能優(yōu)化 281
9.3.1 常用優(yōu)化手段 281
9.3.2 控制溢出文件 283
9.3.3 查詢剖析 283
9.4 例行監(jiān)控 287
9.4.1 檢查系統(tǒng)狀態(tài) 287
9.4.2 檢查磁盤空間使用 289
9.4.3 檢查數據分布傾斜 290
9.4.4 查看數據庫對象的元數據信息 292
9.4.5 查看會話的內存使用信息 292
9.4.6 查看工作文件使用信息 293
9.4.7 查看服務器日志文件 293
9.5 例行維護 296
9.5.1 定期VACUUM 296
9.5.2 定期維護系統(tǒng)目錄 297
9.5.3 加強的系統(tǒng)目錄維護 297
9.5.4 為查詢優(yōu)化執(zhí)行VACUUM與ANALYZE 298
9.5.5 自動收集統(tǒng)計信息 299
9.5.6 重建索引 299
9.5.7 管理數據庫日志文件 299
9.6 推薦的監(jiān)控與維護任務 300
9.6.1 數據庫實例狀態(tài)監(jiān)控 300
9.6.2 硬件和操作系統(tǒng)監(jiān)控 301
9.6.3 系統(tǒng)目錄表監(jiān)控 302
9.6.4 數據庫維護 302
9.6.5 補丁與升級 303
9.7 小結 304
第10章 集成機器學習庫MADlib 305
10.1 MADlib的基本概念 305
10.1.1 MADlib是什么 305
10.1.2 MADlib的設計思想 306
10.1.3 MADlib的工作原理 307
10.1.4 MADlib的執(zhí)行流程 308
10.1.5 MADlib的基礎架構 308
10.2 MADlib的功能 309
10.2.1 MADlib支持的模型類型 309
10.2.2 MADlib主要的功能模塊 310
10.3 MADlib的安裝與卸載 313
10.3.1 確定安裝平臺 313
10.3.2 安裝MADlib 314
10.3.3 卸載MADlib 315
10.4 MADlib示例——使用矩陣分解實現用戶推薦 316
10.4.1 低秩矩陣分解 316
10.4.2 奇異值分解 325
10.5 模型評估 339
10.5.1 交叉驗證 340
10.5.2 MADlib的交叉驗證相關函數 342
10.5.3 交叉驗證示例 344
10.6 小結 346