數(shù)字化轉(zhuǎn)型實踐：構(gòu)建云原生大數(shù)據(jù)平臺

第1章 數(shù)字化轉(zhuǎn)型與數(shù)據(jù)技術 001
1.1 數(shù)字化轉(zhuǎn)型 002
1.2 基于數(shù)據(jù)進行數(shù)字化轉(zhuǎn)型 004
1.3 數(shù)據(jù)倉庫 006
1.4 大數(shù)據(jù) 009
1.5 數(shù)據(jù)湖 013
1.6 云計算中數(shù)據(jù)技術的演進 016
1.7 本書目標 018
第2章 數(shù)據(jù)存儲 019
2.1 數(shù)據(jù)存儲的發(fā)展與趨勢 020
2.1.1 集中式文件系統(tǒng) 020
2.1.2 網(wǎng)絡文件系統(tǒng) 021
2.1.3 分布式文件系統(tǒng) 022
2.1.4 云原生存儲 024
2.2 Azure Blob對象存儲 025
2.2.1 數(shù)據(jù)冗余策略 027
2.2.2 分層存儲 030
2.2.3 兼容HDFS的WASB文件系統(tǒng) 031
2.3 創(chuàng)建存儲賬號 033
2.3.1 訂閱 033
2.3.2 資源組 034
2.3.3 存儲賬號 036
2.4 Azure數(shù)據(jù)湖存儲 039
2.4.1 分層命名空間 039
2.4.2 兼容HDFS的ABFS文件系統(tǒng) 040
2.5 創(chuàng)建數(shù)據(jù)湖存儲 043
2.6 基于HDFS訪問數(shù)據(jù)湖存儲 045
2.7 在HDInsight中訪問數(shù)據(jù)湖存儲 058
2.8 本章小結(jié) 064
第3章 數(shù)據(jù)引入 065
3.1 什么是數(shù)據(jù)引入 066
3.2 數(shù)據(jù)引入面臨的挑戰(zhàn) 067
3.3 數(shù)據(jù)引入工具 069
3.4 數(shù)據(jù)工廠 071
3.4.1 什么是數(shù)據(jù)工廠 071
3.4.2 創(chuàng)建數(shù)據(jù)工廠 072
3.4.3 數(shù)據(jù)工廠的主要組件 076
3.5 引入數(shù)據(jù) 084
3.5.1 數(shù)據(jù)復制 084
3.5.2 管道設計 088
3.5.3 參數(shù)化 098
3.5.4 監(jiān)控 100
3.6 本章小結(jié) 102
第4章 批量數(shù)據(jù)處理 103
4.1 數(shù)據(jù)處理概述 104
4.2 數(shù)據(jù)處理引擎 105
4.2.1 MapReduce 105
4.2.2 Spark 107
4.3 Databricks 111
4.4 使用Databricks處理批量數(shù)據(jù) 115
4.5 Databricks的特性 121
4.5.1 依賴庫管理 121
4.5.2 Databricks文件系統(tǒng)（DBFS） 124
4.5.3 密鑰管理 126
4.5.4 Delta Lake 129
4.6 使用數(shù)據(jù)工廠處理批量數(shù)據(jù) 134
4.6.1 設計Data Flow 134
4.6.2 Data Flow的設計模式 144
4.6.3 如何選擇Data Flow與Databricks 145
4.7 本章小結(jié) 146
第5章 實時數(shù)據(jù)處理 147
5.1 什么是實時數(shù)據(jù)處理 148
5.2 消息隊列 149
5.3 Kafka的使用 153
5.3.1 創(chuàng)建虛擬網(wǎng)絡 153
5.3.2 創(chuàng)建Kafka集群 155
5.3.3 配置IP advertising 157
5.3.4 生產(chǎn)者發(fā)送數(shù)據(jù) 159
5.4 實時數(shù)據(jù)處理引擎 166
5.5 使用Spark Structured Streaming處理實時數(shù)據(jù) 171
5.5.1 連通Kafka與Databricks 171
5.5.2 在Databricks中處理數(shù)據(jù) 174
5.5.3 使用Cosmos DB保存數(shù)據(jù) 176
5.6 Event Hub 182
5.7 本章小結(jié) 190
第6章 數(shù)據(jù)倉庫 191
6.1 什么是數(shù)據(jù)倉庫 192
6.2 云原生數(shù)據(jù)倉庫 194
6.3 Synapse Analytics 199
6.3.1 什么是Synapse Analytics 199
6.3.2 Synapse SQL的架構(gòu) 200
6.3.3 創(chuàng)建Synapse工作區(qū) 208
6.3.4 創(chuàng)建SQL池 210
6.3.5 連接SQL池 212
6.4 數(shù)據(jù)加載 214
6.4.1 數(shù)據(jù)加載方式 214
6.4.2 使用COPY導入數(shù)據(jù) 220
6.5 Synapse SQL的資源和負荷管理 227
6.5.1 資源類 227
6.5.2 并發(fā)槽 229
6.5.3 最大并發(fā)查詢數(shù) 231
6.5.4 工作負荷組 232
6.5.5 工作負荷分類器 239
6.6 數(shù)據(jù)倉庫發(fā)展趨勢 242
6.6.1 挑戰(zhàn) 242
6.6.2 趨勢 244
6.7 Synapse Analytics的高級特性 245
6.7.1 Synapse 工作室 246
6.7.2 數(shù)據(jù)中心 247
6.7.3 無服務器SQL池 248
6.7.4 托管Spark 252
6.8 本章小結(jié) 257
第7章 數(shù)據(jù)可視化 258
7.1 數(shù)據(jù)可視化概述 259
7.2 數(shù)據(jù)可視化工具 260
7.3 Power BI 263
7.3.1 什么是Power BI 263
7.3.2 Power BI的構(gòu)件 265
7.3.3 使用Power BI Desktop 268
7.3.4 使用Power BI服務 281
7.4 本章小結(jié) 285
第8章 機器學習 286
8.1 機器學習概述 287
8.1.1 算法類型 287
8.1.2 業(yè)務場景 290
8.2 機器學習的流程 291
8.3 機器學習的挑戰(zhàn)與云原生平臺的優(yōu)勢 293
8.4 云原生機器學習平臺 296
8.4.1 創(chuàng)建工作區(qū) 297
8.4.2 創(chuàng)建數(shù)據(jù)存儲庫 298
8.4.3 創(chuàng)建數(shù)據(jù)集 301
8.4.4 創(chuàng)建計算資源 303
8.5 機器學習設計器 305
8.6 自動化機器學習 310
8.7 本章小結(jié) 315
參考文獻 316