中臺(tái)落地手記：業(yè)務(wù)服務(wù)化與數(shù)據(jù)資產(chǎn)化

前言
第1章 總體規(guī)劃1
1.1 統(tǒng)一內(nèi)部認(rèn)識(shí)1
1.2 把握外部環(huán)境2
1.3 中臺(tái)具體建設(shè)思路3
1.3.1 阿里巴巴中臺(tái)建設(shè)思路拆解3
1.3.2 企業(yè)組織變革5
1.3.3 業(yè)務(wù)與數(shù)據(jù)邏輯架構(gòu)設(shè)計(jì)7
1.4 運(yùn)營(yíng)中臺(tái)規(guī)劃與設(shè)計(jì)8
1.4.1 運(yùn)營(yíng)中臺(tái)面臨的幾個(gè)典型痛點(diǎn)8
1.4.2 行業(yè)規(guī)范與趨勢(shì)8
1.4.3 運(yùn)營(yíng)中臺(tái)前期準(zhǔn)備情況9
第2章 業(yè)務(wù)服務(wù)化建設(shè)11
2.1 多種方法梳理業(yè)務(wù)11
2.2 領(lǐng)域驅(qū)動(dòng)（DDD）業(yè)務(wù)建模13
2.2.1 領(lǐng)域驅(qū)動(dòng)建模介紹13
2.2.2 業(yè)務(wù)架構(gòu)設(shè)計(jì)16
2.3 業(yè)務(wù)服務(wù)化帶來(lái)的效益19
2.4 服務(wù)提供者20
2.5 服務(wù)消費(fèi)者21
2.6 服務(wù)管理者22
2.7 運(yùn)營(yíng)中臺(tái)業(yè)務(wù)服務(wù)化設(shè)計(jì)26
2.7.1 梳理各業(yè)務(wù)線流程26
2.7.2 定義業(yè)務(wù)領(lǐng)域28
2.7.3 確定聚合與聚合根28
2.7.4 確定限界上下文29
第3章 微服務(wù)解決方案31
3.1 RPC框架：Apache Dubbo32
3.1.1 架構(gòu)分層剖析32
3.1.2 核心流程介紹33
3.1.3 關(guān)鍵生態(tài)組件介紹34
3.1.4 Dubbo使用舉例35
3.2 Spring框架：Spring Cloud40
3.2.1 網(wǎng)關(guān)平臺(tái)40
3.2.2 服務(wù)注冊(cè)與發(fā)現(xiàn)41
3.2.3 配置管理41
3.2.4 負(fù)載均衡42
3.2.5 服務(wù)保護(hù)43
3.2.6 鏈路追蹤44
3.2.7 安全控制44
3.3 微服務(wù)難點(diǎn)剖析45
3.3.1 網(wǎng)絡(luò)延遲45
3.3.2 分布式事務(wù)46
3.3.3 分布式計(jì)算48
3.4 服務(wù)網(wǎng)格Service Mesh50
3.5 無(wú)服務(wù)架構(gòu)Serviceless51
3.6 運(yùn)營(yíng)中臺(tái)基于微服務(wù)技術(shù)搭建業(yè)務(wù)中臺(tái)52
3.6.1 微服務(wù)劃分52
3.6.2 整體微服務(wù)架構(gòu)53
3.6.3 緩存方案54
3.6.4 搜索方案57
3.6.5 通信方案58
3.6.6 SPI與插件化方案59
第4章 收集各類數(shù)據(jù)62
4.1 多渠道收集數(shù)據(jù)64
4.2 多數(shù)據(jù)結(jié)構(gòu)收集數(shù)據(jù)65
4.3 收集工具介紹66
4.3.1 Apache Flume66
4.3.2 Apache Sqoop67
4.3.3 Alibaba DataX71
4.3.4 爬蟲系統(tǒng)工具74
4.3.5 Apache Kafka76
4.3.6 Alibaba Canal83
4.4 運(yùn)營(yíng)中臺(tái)數(shù)據(jù)收集過(guò)程92
第5章 數(shù)據(jù)預(yù)處理94
5.1 數(shù)據(jù)標(biāo)準(zhǔn)建立95
5.2 數(shù)據(jù)建模子系統(tǒng)95
5.2.1 關(guān)系型數(shù)據(jù)建模95
5.2.2 數(shù)據(jù)倉(cāng)庫(kù)建模96
5.2.3 非關(guān)系型數(shù)據(jù)建模99
5.2.4 通用建模步驟99
5.3 元數(shù)據(jù)管理子系統(tǒng)101
5.3.1 元數(shù)據(jù)的內(nèi)涵101
5.3.2 元數(shù)據(jù)管理的意義102
5.3.3 元數(shù)據(jù)管理開(kāi)源方案：Apache Atlas102
5.4 數(shù)據(jù)質(zhì)量控制子系統(tǒng)104
5.4.1 數(shù)據(jù)質(zhì)量維度度量104
5.4.2 數(shù)據(jù)質(zhì)量控制方案105
5.4.3 數(shù)據(jù)質(zhì)量管理開(kāi)源方案：Apache Griffin106
5.5 運(yùn)營(yíng)中臺(tái)數(shù)據(jù)預(yù)處理107
5.5.1 建立內(nèi)部數(shù)據(jù)標(biāo)準(zhǔn)107
5.5.2 與業(yè)務(wù)模型對(duì)應(yīng)的數(shù)據(jù)模型子系統(tǒng)108
5.5.3 自研元數(shù)據(jù)管理子系統(tǒng)110
5.5.4 自研數(shù)據(jù)質(zhì)量控制子系統(tǒng)112
第6章 數(shù)據(jù)湖和數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)處理113
6.1 數(shù)據(jù)倉(cāng)庫(kù)113
6.1.1 數(shù)據(jù)倉(cāng)庫(kù)分層113
6.1.2 數(shù)據(jù)倉(cāng)庫(kù)分類114
6.2 數(shù)據(jù)湖與大數(shù)據(jù)116
6.2.1 Lambda架構(gòu)116
6.2.2 Kappa架構(gòu)117
6.2.3 大數(shù)據(jù)平臺(tái)118
6.3 開(kāi)源數(shù)據(jù)湖方案：Apache Hudi119
6.3.1 Hudi存儲(chǔ)120
6.3.2 Hudi讀取122
6.4 運(yùn)營(yíng)中臺(tái)數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖的建設(shè)情況123
6.4.1 基于Hive的離線數(shù)據(jù)倉(cāng)庫(kù)123
6.4.2 基于Kylin的準(zhǔn)實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)125
6.4.3 基于Flink TiDB的實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)126
6.4.4 基于Hudi的數(shù)據(jù)湖建設(shè)127
第7章 數(shù)據(jù)計(jì)算開(kāi)發(fā)130
7.1 離線計(jì)算130
7.1.1 MapReduce經(jīng)典計(jì)算引擎130
7.1.2 Apache Spark內(nèi)存計(jì)算引擎132
7.2 在線計(jì)算137
7.2.1 事務(wù)優(yōu)先類引擎137
7.2.2 非事務(wù)優(yōu)先類引擎143
7.2.3 預(yù)計(jì)算類引擎151
7.3 流式計(jì)算154
7.3.1 無(wú)狀態(tài)計(jì)算引擎：Apache Storm154
7.3.2 有狀態(tài)計(jì)算引擎：Apache Flink156
7.4 運(yùn)營(yíng)中臺(tái)數(shù)據(jù)資產(chǎn)化過(guò)程163
7.4.1 典型問(wèn)題解決方案165
7.4.2 性能調(diào)優(yōu)168
第8章 深入挖掘業(yè)務(wù)數(shù)據(jù)174
8.1 利用機(jī)器學(xué)習(xí)進(jìn)行數(shù)據(jù)挖掘174
8.1.1 監(jiān)督學(xué)習(xí)175
8.1.2 非監(jiān)督學(xué)習(xí)176
8.1.3 強(qiáng)化學(xué)習(xí)177
8.2 機(jī)器學(xué)習(xí)通用步驟177
8.2.1 數(shù)據(jù)清洗處理178
8.2.2 特征工程179
8.2.3 對(duì)模型進(jìn)行訓(xùn)練182
8.2.4 評(píng)估模型的泛化程度184
8.2.5 模型保存及導(dǎo)入185
8.3 運(yùn)營(yíng)中臺(tái)業(yè)務(wù)數(shù)據(jù)挖掘188
8.3.1 客戶數(shù)據(jù)挖掘：分類營(yíng)銷188
8.3.2 安全數(shù)據(jù)挖掘：運(yùn)行事件預(yù)測(cè)190
第9章 安全措施192
9.1 安全體系范疇192
9.1.1 平臺(tái)安全192
9.1.2 數(shù)據(jù)安全193
9.1.3 隱私安全194
9.2 大數(shù)據(jù)平臺(tái)安全開(kāi)源方案：Apache Ranger195
9.3 運(yùn)營(yíng)中臺(tái)安全措施197
9.3.1 運(yùn)營(yíng)中臺(tái)安全告警系統(tǒng)199
9.3.2 運(yùn)營(yíng)中臺(tái)兩地三中心數(shù)據(jù)容災(zāi)方案199
第10章 中臺(tái)運(yùn)營(yíng)及周邊203
10.1 運(yùn)營(yíng)中的運(yùn)維：維護(hù)優(yōu)勢(shì)203
10.2 運(yùn)營(yíng)中的營(yíng)收：提升價(jià)值204
10.3 各類中臺(tái)形態(tài)204
10.3.1 數(shù)據(jù)中臺(tái)204
10.3.2 業(yè)務(wù)中臺(tái)205
10.3.3 AI中臺(tái)206
10.4 運(yùn)營(yíng)中臺(tái)的運(yùn)營(yíng)規(guī)劃207
后記208