劍指大數據：企業(yè)級數據倉庫項目實戰(zhàn)（電商版）

目錄

第1章 數據倉庫概論 1
1.1 數據倉庫的概念與特點 1
1.2 數據倉庫的演進過程 2
1.3 數據倉庫技術 3
1.4 數據倉庫基本架構 5
1.5 數據庫和數據倉庫的區(qū)別 8
1.6 學前導讀 9
1.6.1 學習的基礎要求 9
1.6.2 你將學到什么 9
1.7 本章總結 10
第2章 項目需求描述 11
2.1 前期調研 11
2.2 項目架構分析 12
2.2.1 電商數據倉庫產品描述 12
2.2.2 系統功能結構 13
2.2.3 系統流程圖 14
2.3 項目業(yè)務概述 14
2.3.1 采集模塊業(yè)務描述 14
2.3.2 數據倉庫需求業(yè)務描述 15
2.3.3 數據可視化業(yè)務描述 17
2.3.4 即席查詢業(yè)務描述 17
2.3.5 數據治理業(yè)務描述 18
2.4 系統運行環(huán)境 19
2.4.1 硬件環(huán)境 19
2.4.2 軟件環(huán)境 20
2.5 本章總結 22
第3章 項目部署的環(huán)境準備 23
3.1 Linux環(huán)境準備 23
3.1.1 VMware安裝 23
3.1.2 CentOS安裝 23
3.1.3 遠程終端安裝 31
3.2 Linux環(huán)境配置 35
3.2.1 網絡配置 35
3.2.2 網絡IP地址配置 36
3.2.3 主機名配置 36
3.2.4 防火墻配置 37
3.2.5 一般用戶設置 38
3.3 Hadoop環(huán)境搭建 38
3.3.1 虛擬機環(huán)境準備 38
3.3.2 JDK安裝 43
3.3.3 Hadoop安裝 44
3.3.4 Hadoop分布式集群部署 45
3.4 本章總結 51
第4章 用戶行為數據采集模塊 52
4.1 日志生成 52
4.1.1 數據埋點 52
4.1.2 用戶行為日志內容 52
4.1.3 用戶行為日志格式 54
4.1.4 數據模擬 58
4.2 消息隊列Kafka 61
4.2.1 ZooKeeper安裝 61
4.2.2 ZooKeeper集群啟動、停止腳本 63
4.2.3 Kafka安裝 64
4.2.4 Kafka Eagle安裝 65
4.2.5 Kafka集群啟動、停止腳本 67
4.2.6 Kafka topic相關操作 68
4.3 采集日志的Flume 68
4.3.1 Flume組件 69
4.3.2 Flume安裝 69
4.3.3 采集日志的Flume配置 70
4.3.4 Flume的攔截器 71
4.3.5 采集日志的Flume啟動、停止腳本 75
4.4 消費日志的Flume 76
4.4.1 消費日志的Flume配置 77
4.4.2 時間戳攔截器 78
4.4.3 消費日志的Flume啟動、停止腳本 80
4.4.4 數據通道測試 81
4.5 采集通道啟動、停止腳本 81
4.6 本章總結 83
第5章 業(yè)務數據采集模塊 84
5.1 電商業(yè)務概述 84
5.1.1 電商業(yè)務流程 84
5.1.2 電商常識 85
5.1.3 電商業(yè)務表結構 85
5.1.4 數據同步策略 95
5.1.5 數據同步工具選擇 97
5.2 業(yè)務數據采集 97
5.2.1 MySQL安裝 97
5.2.2 業(yè)務數據生成 99
5.2.3 業(yè)務數據模型梳理 102
5.2.4 DataX安裝 106
5.2.5 Maxwell安裝 108
5.2.6 全量同步 112
5.2.7 增量同步 122
5.3 本章總結 130
第6章 數據倉庫搭建模塊 131
6.1 數據倉庫理論準備 131
6.1.1 數據建模概述 131
6.1.2 關系模型與范式理論 132
6.1.3 維度模型 135
6.1.4 維度建模理論之事實表 136
6.1.5 維度建模理論之維度表 139
6.1.6 雪花模型、星形模型與星座模型 142
6.2 數據倉庫建模實踐 144
6.2.1 名詞概念 144
6.2.2 為什么要分層 145
6.2.3 數據倉庫搭建流程 146
6.2.4 數據倉庫開發(fā)規(guī)范 153
6.3 數據倉庫搭建環(huán)境準備 157
6.3.1 Hive安裝 157
6.3.2 Hive on Spark配置 160
6.3.3 YARN容量調度器并發(fā)度問題 162
6.3.4 數據倉庫開發(fā)環(huán)境配置 162
6.3.5 模擬數據準備 166
6.3.6 常用函數 168
6.3.7 復雜數據類型 169
6.4 數據倉庫搭建——ODS層 170
6.4.1 用戶行為數據 171
6.4.2 ODS層用戶行為數據導入腳本 172
6.4.3 業(yè)務數據 173
6.4.4 ODS層業(yè)務數據導入腳本 183
6.5 數據倉庫搭建——DIM層 186
6.5.1 商品維度表（全量） 186
6.5.2 優(yōu)惠券維度表（全量） 189
6.5.3 活動維度表（全量） 191
6.5.4 地區(qū)維度表（全量） 193
6.5.5 時間維度表（特殊） 194
6.5.6 用戶維度表（拉鏈表） 195
6.5.7 DIM層首日數據裝載腳本 199
6.5.8 DIM層每日數據裝載腳本 199
6.6 數據倉庫搭建——DWD層 199
6.6.1 交易域加購物車事務事實表 200
6.6.2 交易域下單事務事實表 204
6.6.3 交易域取消訂單事務事實表 209
6.6.4 交易域支付成功事務事實表 214
6.6.5 交易域退單事務事實表 220
6.6.6 交易域退款成功事務事實表 224
6.6.7 交易域購物車周期快照事實表 227
6.6.8 工具域優(yōu)惠券領取事務事實表 228
6.6.9 工具域優(yōu)惠券使用（下單）事務事實表 229
6.6.10 工具域優(yōu)惠券使用（支付）事務事實表 230
6.6.11 互動域收藏事務事實表 232
6.6.12 互動域評價事務事實表 233
6.6.13 流量域頁面瀏覽事務事實表 235
6.6.14 流量域啟動事務事實表 238
6.6.15 流量域動作事務事實表 240
6.6.16 流量域曝光事務事實表 243
6.6.17 流量域錯誤事務事實表 245
6.6.18 用戶域注冊事務事實表 248
6.6.19 用戶域登錄事務事實表 251
6.6.20 DWD層首日業(yè)務數據裝載腳本 254
6.6.21 DWD層每日業(yè)務數據裝載腳本 254
6.7 數據倉庫搭建——DWS層 255
6.7.1 最近1日匯總表 256
6.7.2 最近n日匯總表 269
6.7.3 歷史至今匯總表 279
6.8 數據倉庫搭建——ADS層 283
6.8.1 流量主題指標 283
6.8.2 用戶主題指標 286
6.8.3 商品主題指標 294
6.8.4 交易主題指標 302
6.8.5 優(yōu)惠券主題指標 306
6.8.6 活動主題指標 307
6.8.7 ADS層數據導入腳本 307
6.9 數據模型評估及優(yōu)化 308
6.10 本章總結 308
第7章 DolphinScheduler全流程調度 309
7.1 DolphinScheduler概述與安裝部署 309
7.1.1 DolphinScheduler概述 309
7.1.2 DolphinScheduler安裝部署 310
7.2 創(chuàng)建MySQL數據庫和表 317
7.3 DataX數據導出 322
7.4 全流程調度 329
7.4.1 數據準備 329
7.4.2 全流程調度配置 330
7.5 電子郵件報警 337
7.5.1 注冊郵箱 337
7.5.2 配置電子郵件報警 339
7.6 本章總結 341
第8章 數據可視化模塊 342
8.1 Superset部署 342
8.1.1 環(huán)境準備 342
8.1.2 Superset安裝 344
8.2 Superset使用 347
8.2.1 對接MySQL數據源 347
8.2.2 制作儀表盤 350
8.3 Superset實戰(zhàn) 354
8.3.1 制作柱狀圖 354
8.3.2 制作旭日圖 355
8.3.3 制作桑基圖 357
8.3.4 合成儀表盤頁面 358
8.4 ECharts可視化 359
8.5 本章總結 361
第9章 即席查詢模塊 362
9.1 Presto 362
9.1.1 Presto簡介 362
9.1.2 Presto安裝 363
9.1.3 Presto優(yōu)化之數據存儲 367
9.1.4 Presto優(yōu)化之SQL查詢語句 367
9.1.5 Presto注意事項 368
9.2 Kylin 368
9.2.1 Kylin簡介 368
9.2.2 HBase安裝 370
9.2.3 Kylin安裝 371
9.2.4 Kylin使用 373
9.2.5 Kylin Cube構建原理 384
9.2.6 Kylin Cube存儲原理 387
9.2.7 Kylin Cube構建優(yōu)化 388
9.2.8 Kylin BI工具集成 392
9.3 即席查詢框架對比 398
9.4 本章總結 399
第10章 集群監(jiān)控模塊 400
10.1 Zabbix入門 400
10.2 Zabbix部署 401
10.2.1 集群規(guī)劃 401
10.2.2 準備工作 401
10.2.3 配置Zabbix yum源 402
10.2.4 安裝并配置Zabbix 404
10.2.5 啟動、停止Zabbix 405
10.3 Zabbix使用 409
10.3.1 術語介紹 410
10.3.2 Zabbix實戰(zhàn) 410
10.3.3 創(chuàng)建模板 422
10.4 Grafana 427
10.4.1 Grafana安裝部署 427
10.4.2 快速入門 428
10.4.3 集成Zabbix 430
10.5 本章總結 439
第11章 安全認證模塊 440
11.1 Kerberos入門 440
11.1.1 Kerberos概述 440
11.1.2 Kerberos認證原理 440
11.2 Kerberos安裝 441
11.2.1 安裝Kerberos相關服務 441
11.2.2 修改配置文件 441
11.2.3 初始化KDC數據庫 442
11.2.4 修改管理員權限配置文件 442
11.2.5 啟動Kerberos相關服務 443
11.2.6 創(chuàng)建Kerberos管理員用戶 443
11.3 Kerberos操作 443
11.3.1 Kerberos數據庫操作 443
11.3.2 Kerberos認證操作 444
11.4 Hadoop集成Kerberos 444
11.4.1 創(chuàng)建Hadoop系統用戶 444
11.4.2 為Hadoop各服務創(chuàng)建Kerberos主體（Principal） 445
11.4.3 修改Hadoop配置文件 448
11.4.4 配置HDFS使用HTTPS協議 452
11.4.5 配置YARN使用LinuxContainerExecutor 453
11.5 在安全認證模式下啟動Hadoop集群 455
11.5.1 修改本地特定路徑訪問權限 455
11.5.2 啟動HDFS 456
11.5.3 修改HDFS特定路徑訪問權限 457
11.5.4 啟動YARN 458
11.5.5 啟動HistoryServer 458
11.6 在安全認證模式下操作Hadoop集群 459
11.6.1 用戶要求 459
11.6.2 HDFS操作 459
11.6.3 MapReduce任務提交 463
11.7 Hive集成Kerberos 463
11.7.1 配置要求 463
11.7.2 配置認證 464
11.7.3 啟動HiveServer2服務 465
11.8 在安全認證模式下操作Hive 465
11.8.1 Beeline客戶端 465
11.8.2 DataGrip客戶端 465
11.9 在安全認證模式下執(zhí)行數據倉庫全流程調度 469
11.9.1 用戶準備 469
11.9.2 修改數據采集通道 470
11.9.3 修改數據倉庫各層腳本 473
11.9.4 修改數據導出DataX配置文件 474