數(shù)據(jù)資產(chǎn)管理核心技術(shù)與應(yīng)用

第 1 章  認識數(shù)據(jù)資產(chǎn) 1
1.1  數(shù)據(jù)資產(chǎn)的基本介紹 1
1.2  數(shù)據(jù)資產(chǎn)的分類 4
1.3  數(shù)據(jù)資產(chǎn)的價值評估 5
1.4  數(shù)據(jù)資產(chǎn)的質(zhì)量 6
1.5  數(shù)據(jù)資產(chǎn)的存儲 6
1.6  數(shù)據(jù)資產(chǎn)管理 9
1.7  數(shù)據(jù)資產(chǎn)管理的信息化建設(shè) 11
1.8  數(shù)據(jù)資產(chǎn)與人工智能 11
第 2 章  元數(shù)據(jù)的采集與存儲 13
2.1  Hive中的元數(shù)據(jù)采集 14
2.1.1  基于Hive Meta DB的元數(shù)據(jù)采集 14
2.1.2  基于Hive Catalog的元數(shù)據(jù)采集 18
2.1.3  基于Spark Catalog的元數(shù)據(jù)采集 21
2.2  Delta Lake中的元數(shù)據(jù)采集 29
2.2.1  基于Delta Lake自身設(shè)計來采集元數(shù)據(jù) 31
2.2.2  基于Spark Catalog來采集元數(shù)據(jù) 32
2.3  MySQL中的元數(shù)據(jù)采集 34
2.4  Apache Hudi中的元數(shù)據(jù)采集 41
2.4.1  基于Spark Catalog采集元數(shù)據(jù) 42
2.4.2  Hudi Timeline Meta Server 43
2.4.3  基于Hive Meta DB采集元數(shù)據(jù) 47
2.5  Apache Iceberg中的元數(shù)據(jù)采集 49
2.5.1  Iceberg的元數(shù)據(jù)設(shè)計 50
2.5.2  Iceberg元數(shù)據(jù)的采集 54
2.6  元數(shù)據(jù)的存儲模型設(shè)計 56
2.6.1  如何對元數(shù)據(jù)進行整合 56
2.6.2  元數(shù)據(jù)的存儲模型設(shè)計 57
第 3 章  數(shù)據(jù)血緣 59
3.1  獲取數(shù)據(jù)血緣的技術(shù)實現(xiàn) 59
3.1.1  如何從Hive中獲取數(shù)據(jù)血緣 60
3.1.2  從Spark執(zhí)行計劃中獲取數(shù)據(jù)血緣 66
3.1.3  從Spark SQL語句中獲取數(shù)據(jù)血緣 82
3.1.4  從Flink中獲取數(shù)據(jù)血緣 91
3.1.5  從數(shù)據(jù)任務(wù)的編排系統(tǒng)中獲取數(shù)據(jù)血緣 92
3.2  數(shù)據(jù)血緣的存儲模型與展示設(shè)計 94
第 4 章  數(shù)據(jù)質(zhì)量的技術(shù)實現(xiàn) 98
4.1  質(zhì)量數(shù)據(jù)采集的技術(shù)實現(xiàn) 100
4.1.1  定義數(shù)據(jù)采集的規(guī)則 100
4.1.2  定時Job的技術(shù)選型 103
4.2  如何處理采集到的質(zhì)量數(shù)據(jù) 109
4.3  質(zhì)量數(shù)據(jù)的存儲模型設(shè)計 110
4.4  常見的開源數(shù)據(jù)質(zhì)量管理平臺 112
4.4.1  Apache Griffin 112
4.4.2  Qualitis 113
第 5 章  數(shù)據(jù)監(jiān)控與告警 116
5.1  數(shù)據(jù)監(jiān)控 116
5.1.1  數(shù)據(jù)監(jiān)控的種類 116
5.1.2  監(jiān)控數(shù)據(jù)的特點與存儲方式 117
5.2  常見的數(shù)據(jù)監(jiān)控目標 118
5.2.1  數(shù)據(jù)鏈路監(jiān)控 118
5.2.2  數(shù)據(jù)任務(wù)監(jiān)控 124
5.2.3  數(shù)據(jù)質(zhì)量監(jiān)控 125
5.2.4  數(shù)據(jù)服務(wù)監(jiān)控 125
5.2.5  數(shù)據(jù)處理資源監(jiān)控 126
5.3  Prometheus簡介 128
5.4  Grafana簡介 135
5.5  使用Grafana和Prometheus來實現(xiàn)數(shù)據(jù)監(jiān)控與告警 138
5.5.1  數(shù)據(jù)鏈路的告警實現(xiàn) 138
5.5.2  數(shù)據(jù)任務(wù)的告警實現(xiàn) 141
5.5.3  數(shù)據(jù)質(zhì)量的告警實現(xiàn) 142
5.5.4  數(shù)據(jù)服務(wù)的告警實現(xiàn) 142
5.5.5  數(shù)據(jù)處理資源的告警實現(xiàn) 143
第 6 章  數(shù)據(jù)服務(wù) 146
6.1  如何設(shè)計數(shù)據(jù)服務(wù) 146
6.1.1  數(shù)據(jù)源管理 148
6.1.2  數(shù)據(jù)服務(wù)的敏捷化和可配置化 148
6.1.3  數(shù)據(jù)服務(wù)文檔的自動生成 151
6.1.4  數(shù)據(jù)服務(wù)的統(tǒng)一認證與鑒權(quán) 151
6.1.5  數(shù)據(jù)服務(wù)的監(jiān)控與告警 153
6.2  數(shù)據(jù)服務(wù)的性能 155
6.3  數(shù)據(jù)服務(wù)的熔斷與降級 159
第 7 章  數(shù)據(jù)權(quán)限與安全 163
7.1  常見的權(quán)限設(shè)計模式 163
7.1.1  基于角色的訪問控制 164
7.1.2  基于屬性的訪問控制 165
7.1.3  基于對象的訪問控制 165
7.2  數(shù)據(jù)權(quán)限 166
7.2.1  列權(quán)限控制 167
7.2.2  行權(quán)限控制 170
7.3  數(shù)據(jù)脫敏 171
7.4  數(shù)據(jù)安全 174
第 8 章  數(shù)據(jù)資產(chǎn)架構(gòu) 176
8.1  數(shù)據(jù)資產(chǎn)的架構(gòu)設(shè)計 177
8.1.1  數(shù)據(jù)獲取層 177
8.1.2  數(shù)據(jù)處理層 178
8.1.3  數(shù)據(jù)存儲層 180
8.1.4  數(shù)據(jù)管理層 182
8.1.5  數(shù)據(jù)分析層 182
8.1.6  數(shù)據(jù)服務(wù)層 183
8.2  常見的開源數(shù)據(jù)資產(chǎn)管理平臺 185
8.2.1  Apache Atlas 185
8.2.2  Data Hub 186
8.2.3  OpenMetadata 189
第 9 章  元數(shù)據(jù)管理實踐 193
9.1  如何理解元數(shù)據(jù) 194
9.1.1  為何需要元數(shù)據(jù) 194
9.1.2  如何讓元數(shù)據(jù)產(chǎn)生更大價值 195
9.1.3  元數(shù)據(jù)分類及其好處 196
9.1.4  元數(shù)據(jù)管理 198
9.1.5  參與角色 201
9.2  元數(shù)據(jù)管理 202
9.2.1  元數(shù)據(jù)模型的組織關(guān)系 202
9.2.2  元數(shù)據(jù)的采集 204
9.2.3  業(yè)務(wù)域設(shè)計 205
9.2.4  業(yè)務(wù)術(shù)語設(shè)計 209
9.2.5  元數(shù)據(jù)標簽設(shè)計 212
9.2.6  數(shù)據(jù)Owner 214
9.2.7  數(shù)據(jù)生命周期 215
9.2.8  元數(shù)據(jù)注冊和發(fā)布 216
9.2.9  核心功能介紹 218
第 10 章  數(shù)據(jù)建模實踐 224
10.1  什么是數(shù)據(jù)建模 224
10.1.1  數(shù)據(jù)模型分類 224
10.1.2  數(shù)據(jù)建模方法 227
10.2  數(shù)據(jù)倉庫建模架構(gòu) 229
10.3  關(guān)系型數(shù)據(jù)建模 231
10.3.1  概念模型階段 231
10.3.2  邏輯模型階段 235
10.3.3  物理模型階段 238
10.4  維度建模 240
10.4.1  基本概念 240
10.4.2  維度表設(shè)計 246
10.4.3  事實表分類 250
10.4.4  基于維度建模的數(shù)據(jù)分析實踐 251
參考文獻 253