數(shù)據(jù)工程之道：設計和構(gòu)建健壯的數(shù)據(jù)系統(tǒng)

前言1
第一部分 基礎和構(gòu)建塊7
第1章 數(shù)據(jù)工程概述9
1.1 什么是數(shù)據(jù)工程9
1.2 數(shù)據(jù)工程技能和活動18
1.3 組織內(nèi)部的數(shù)據(jù)工程師26
1.4 總結(jié)34
1.5 補充資料34
第2章 數(shù)據(jù)工程生命周期36
2.1 什么是數(shù)據(jù)工程生命周期36
2.2 數(shù)據(jù)工程生命周期中的主要底層設計49
2.3 總結(jié)66
2.4 補充資料67
第3章 設計好的數(shù)據(jù)架構(gòu)68
3.1 什么是數(shù)據(jù)架構(gòu)68
3.2 好的數(shù)據(jù)架構(gòu)的原則73
3.3 主要架構(gòu)概念81
3.4 數(shù)據(jù)架構(gòu)的示例和類型91
3.5 誰參與了數(shù)據(jù)架構(gòu)的設計102
3.6 總結(jié)102
3.7 補充資料103
第4章 根據(jù)數(shù)據(jù)生命周期選擇技術(shù)107
4.1 團隊大小和能力108
4.2 加速市場化109
4.3 互操作性109
4.4 成本優(yōu)化和商業(yè)價值110
4.5 現(xiàn)在與未來：不變的與暫時的技術(shù)112
4.6 部署位置114
4.7 構(gòu)建與購買122
4.8 單體與模塊化128
4.9 無服務器與服務器131
4.10 優(yōu)化、性能和基準戰(zhàn)爭135
4.11 底層設計及其對技術(shù)選擇的影響137
4.12 總結(jié)139
4.13 補充資料139
第二部分 深入數(shù)據(jù)工程生命周期141
第5章 源系統(tǒng)中的數(shù)據(jù)生成143
5.1 數(shù)據(jù)源：數(shù)據(jù)是如何生成的？144
5.2 源系統(tǒng)：主要觀點144
5.3 源系統(tǒng)實際細節(jié)152
5.4 你和誰一起工作166
5.5 數(shù)據(jù)底層設計及其對源系統(tǒng)的影響167
5.6 總結(jié)171
5.7 補充資料172
第6章 存儲173
6.1 數(shù)據(jù)存儲的原材料174
6.2 數(shù)據(jù)存儲系統(tǒng)180
6.3 數(shù)據(jù)工程存儲抽象195
6.4 存儲的重要思想和趨勢198
6.5 你和誰一起工作206
6.6 底層設計207
6.7 總結(jié)209
6.8 補充資料209
第7章 獲取210
7.1 什么是數(shù)據(jù)獲取210
7.2 數(shù)據(jù)獲取階段的關(guān)鍵工程考慮因素212
7.3 批量獲取的考慮因素220
7.4 消息和流獲取的考慮因素223
7.5 獲取數(shù)據(jù)的方式225
7.6 你和誰一起工作236
7.7 底層設計237
7.8 總結(jié)241
7.9 補充資料242
第8章 查詢、建模和轉(zhuǎn)換243
8.1 查詢244
8.2 數(shù)據(jù)建模257
8.3 轉(zhuǎn)換276
8.4 你和誰一起工作293
8.5 底層設計294
8.6 總結(jié)298
8.7 補充資料298
第9章 為分析、機器學習和反向ETL提供數(shù)據(jù)服務300
9.1 提供數(shù)據(jù)服務的常見關(guān)注點301
9.2 分析306
9.3 機器學習310
9.4 數(shù)據(jù)工程師需要理解的機器學習知識310
9.5 為分析和機器學習提供數(shù)據(jù)服務的方法312
9.6 反向ETL318
9.7 你和誰一起工作319
9.8 底層設計320
9.9 總結(jié)324
9.10 補充資料324
第三部分 安全、隱私和數(shù)據(jù)工程的未來327
第10章 安全和隱私329
10.1 人員330
10.2 流程330
10.3 技術(shù)333
10.4 總結(jié)336
10.5 補充資料336
第11章 數(shù)據(jù)工程的未來337
11.1 常青的數(shù)據(jù)工程生命周期337
11.2 復雜性的下降和易用的數(shù)據(jù)工具的興起338
11.3 云數(shù)據(jù)操作系統(tǒng)及其高互通性339
11.4 “企業(yè)級”數(shù)據(jù)工程340
11.5 數(shù)據(jù)工程師的頭銜和職責將發(fā)生的變化341
11.6 超越現(xiàn)代數(shù)據(jù)棧，邁向?qū)崟r數(shù)據(jù)棧341
11.7 總結(jié)345
附錄A 序列化和壓縮技術(shù)的細節(jié)347
附錄B 云網(wǎng)絡353