大數(shù)據(jù)技術(shù)與應(yīng)用

序一
序二
前言
第1 章　大數(shù)據(jù)時(shí)代的形成與發(fā)展/ 001
1.1　大數(shù)據(jù)發(fā)展歷程/ 001
1.1.1　大數(shù)據(jù)的起源/ 001
1.1.2　全球大數(shù)據(jù)發(fā)展歷程/ 001
1.1.3　我國大數(shù)據(jù)發(fā)展歷程/ 002
1.2　大數(shù)據(jù)的定義與特征/ 003
1.2.1　什么是數(shù)據(jù)/ 003
1.2.2　大數(shù)據(jù)的定義/ 004
1.2.3　大數(shù)據(jù)的單位/ 005
1.2.4　大數(shù)據(jù)的5 V 特征/ 005
1.3　大數(shù)據(jù)技術(shù)/ 006
1.3.1　大數(shù)據(jù)關(guān)鍵技術(shù)/ 006
1.3.2　大數(shù)據(jù)技術(shù)體系分析/ 007
1.3.3　大數(shù)據(jù)技術(shù)細(xì)分領(lǐng)域/ 009
1.4　大數(shù)據(jù)政策及法規(guī)/ 010
1.4.1　國外的大數(shù)據(jù)政策及法規(guī)/ 010
1.4.2　我國的大數(shù)據(jù)政策及法規(guī)/ 014
第2 章　大數(shù)據(jù)核心發(fā)展理念/ 018
2.1　大數(shù)據(jù)新發(fā)展觀/ 018
2.1.1　大數(shù)據(jù)理論組成/ 018
2.1.2　數(shù)據(jù)的資源屬性/ 019
2.1.3　數(shù)據(jù)生產(chǎn)要素/ 021
2.1.4　數(shù)據(jù)要素價(jià)值化/ 022
2.1.5　數(shù)據(jù)要素價(jià)值實(shí)現(xiàn)途徑/ 023
2.2　數(shù)字經(jīng)濟(jì)/ 025
2.2.1　數(shù)據(jù)成為數(shù)字經(jīng)濟(jì)時(shí)代關(guān)鍵生產(chǎn)要素/ 025
2.2.2　數(shù)字經(jīng)濟(jì)的發(fā)展歷程/ 025
2.2.3　數(shù)字經(jīng)濟(jì)的概念與特征/ 026
2.2.4　數(shù)字經(jīng)濟(jì)新業(yè)態(tài)、新模式/ 031
2.2.5　數(shù)字化轉(zhuǎn)型與數(shù)字經(jīng)濟(jì)/ 033
2.3　數(shù)據(jù)要素/ 035
2.3.1　數(shù)據(jù)治理與數(shù)據(jù)安全治理/ 035
2.3.2　數(shù)字治理體系與數(shù)字規(guī)則/ 037
2.3.3　依法數(shù)字治理/ 040
2.3.4　數(shù)字經(jīng)濟(jì)治理/ 040
2.3.5　數(shù)字治理與數(shù)字化轉(zhuǎn)型/ 041
2.4　數(shù)據(jù)基礎(chǔ)設(shè)施/ 042
2.4.1　算力新基建/ 042
2.4.2　數(shù)據(jù)新型基礎(chǔ)設(shè)施/ 045
2.4.3　“東數(shù)西算”打造數(shù)據(jù)基礎(chǔ)設(shè)施/ 047
第3 章　大數(shù)據(jù)存儲(chǔ)/ 050
3.1　存儲(chǔ)技術(shù)基礎(chǔ)/ 050
3.1.1　數(shù)據(jù)存儲(chǔ)發(fā)展史/ 050
3.1.2　存儲(chǔ)系統(tǒng)的類型/ 051
3.1.3　存儲(chǔ)架構(gòu)/ 053
3.1.4　高速存儲(chǔ)技術(shù)/ 054
3.2　大數(shù)據(jù)存儲(chǔ)架構(gòu)及技術(shù)/ 056
3.2.1　分布式存儲(chǔ)/ 056
3.2.2　分布式存儲(chǔ)架構(gòu)/ 057
3.2.3　Google 分布式存儲(chǔ)系統(tǒng)GFS / 059
3.2.4　大數(shù)據(jù)平臺(tái)Hadoop 存儲(chǔ)系統(tǒng)HDFS / 060
3.3　存儲(chǔ)技術(shù)發(fā)展趨勢(shì)/ 063
3.3.1　軟件定義存儲(chǔ)/ 064
3.3.2　超融合基礎(chǔ)架構(gòu)/ 067
3.3.3　下一代存儲(chǔ)關(guān)鍵技術(shù)演進(jìn)/ 068
3.4　數(shù)據(jù)存儲(chǔ)技術(shù)賦能社會(huì)經(jīng)濟(jì)數(shù)字化轉(zhuǎn)型/ 071
3.4.1　異構(gòu)數(shù)據(jù)管理加速數(shù)據(jù)湖/ 071
3.4.2　多級(jí)存儲(chǔ)介質(zhì)助力實(shí)時(shí)分析能力構(gòu)建/ 072
3.4.3　云存儲(chǔ)備份簡(jiǎn)化數(shù)據(jù)安全實(shí)踐路徑/ 073
第4 章　大數(shù)據(jù)計(jì)算/ 074
4.1　大數(shù)據(jù)計(jì)算技術(shù)/ 074
4.1.1　數(shù)據(jù)計(jì)算技術(shù)發(fā)展歷程/ 074
4.1.2　大規(guī)模分布式計(jì)算/ 076
4.2　大數(shù)據(jù)計(jì)算主流技術(shù)/ 077
4.2.1　大數(shù)據(jù)計(jì)算模式/ 077
4.2.2　批處理計(jì)算MapReduce / 078
4.2.3　內(nèi)存計(jì)算Spark / 080
4.2.4　流計(jì)算Flink / 081
4.2.5　其他計(jì)算模型/ 083
4.3　算力重構(gòu)大數(shù)據(jù)計(jì)算/ 083
4.3.1　數(shù)據(jù)處理單元/ 084
4.3.2　算存一體/ 085
4.3.3　算網(wǎng)一體/ 088
4.3.4　智算中心/ 090
4.4　隱私計(jì)算/ 091
4.4.1　隱私計(jì)算介紹/ 091
4.4.2　隱私計(jì)算架構(gòu)/ 092
4.4.3　隱私計(jì)算關(guān)鍵技術(shù)/ 094
第5 章　大數(shù)據(jù)管理/ 095
5.1　大數(shù)據(jù)管理技術(shù)/ 095
5.1.1　大數(shù)據(jù)結(jié)構(gòu)類型/ 095
5.1.2　CAP 定理/ 097
5.1.3　數(shù)據(jù)管理系統(tǒng)/ 098
5.2　數(shù)據(jù)庫/ 099
5.2.1　數(shù)據(jù)庫的發(fā)展歷程/ 099
5.2.2　數(shù)據(jù)庫管理系統(tǒng)架構(gòu)/ 103
5.2.3　數(shù)據(jù)庫關(guān)鍵技術(shù)/ 103
5.3　非關(guān)系型數(shù)據(jù)庫/ 105
5.3.1　NoSQL 基本原理/ 106
5.3.2　NoSQL 關(guān)鍵技術(shù)/ 106
5.3.3　NoSQL 的數(shù)據(jù)庫類型/ 109
第6 章　大數(shù)據(jù)安全與治理/ 114
6.1　數(shù)據(jù)安全與治理/ 114
6.1.1　信息安全/ 114
6.1.2　網(wǎng)絡(luò)安全/ 115
6.1.3　數(shù)據(jù)安全/ 117
6.1.4　數(shù)據(jù)治理/ 118
6.2　大數(shù)據(jù)安全/ 120
6.2.1　大數(shù)據(jù)安全技術(shù)/ 120
6.2.2　大數(shù)據(jù)平臺(tái)安全/ 121
6.2.3　大數(shù)據(jù)安全技術(shù)/ 122
6.2.4　隱私保護(hù)/ 123
6.3　大數(shù)據(jù)安全防護(hù)/ 124
6.3.1　大數(shù)據(jù)安全防護(hù)目標(biāo)/ 124
6.3.2　大數(shù)據(jù)防護(hù)理念/ 125
6.3.3　大數(shù)據(jù)安全防護(hù)框架/ 126
6.3.4　大數(shù)據(jù)安全防護(hù)體系/ 128
6.4　大數(shù)據(jù)安全關(guān)鍵技術(shù)/ 129
6.4.1　風(fēng)險(xiǎn)識(shí)別/ 130
6.4.2　安全防護(hù)/ 130
6.4.3　安全檢測(cè)/ 132
6.4.4　安全響應(yīng)/ 133
6.4.5　安全恢復(fù)/ 134
6.4.6　反制/ 134
6.5　大數(shù)據(jù)安全治理/ 135
6.5.1　數(shù)據(jù)安全治理的概念/ 135
6.5.2　數(shù)據(jù)安全治理的內(nèi)容/ 136
6.5.3　數(shù)據(jù)安全治理實(shí)踐過程/ 142
第7 章　大數(shù)據(jù)資產(chǎn)管理與流通/ 149
7.1　數(shù)據(jù)與資產(chǎn)/ 149
7.1.1　資產(chǎn)與無形資產(chǎn)/ 149
7.1.2　數(shù)據(jù)價(jià)值表現(xiàn)形式/ 150
7.1.3　數(shù)據(jù)資產(chǎn)概念/ 150
7.1.4　數(shù)據(jù)資產(chǎn)特征與屬性/ 153
7.2　大數(shù)據(jù)資產(chǎn)管理/ 154
7.2.1　數(shù)據(jù)資產(chǎn)管理發(fā)展歷程/ 154
7.2.2　大數(shù)據(jù)資產(chǎn)與管理/ 155
7.2.3　大數(shù)據(jù)資產(chǎn)管理難點(diǎn)/ 157
7.2.4　大數(shù)據(jù)資產(chǎn)管理發(fā)展趨勢(shì)/ 158
7.3　大數(shù)據(jù)資產(chǎn)管理體系/ 161
7.3.1　大數(shù)據(jù)資產(chǎn)管理體系構(gòu)成/ 161
7.3.2　大數(shù)據(jù)資產(chǎn)管理活動(dòng)/ 162
7.3.3　大數(shù)據(jù)資產(chǎn)管理法則/ 163
7.3.4　大數(shù)據(jù)資產(chǎn)運(yùn)營支撐體系/ 166
7.4　大數(shù)據(jù)資產(chǎn)流通/ 169
7.4.1　數(shù)據(jù)要素流通/ 169
7.4.2　數(shù)據(jù)要素市場(chǎng)/ 171
7.4.3　數(shù)據(jù)確權(quán)/ 172
7.4.4　數(shù)據(jù)評(píng)估/ 173
7.4.5　數(shù)據(jù)交易/ 175
7.4.6　大數(shù)據(jù)資產(chǎn)流通挑戰(zhàn)與發(fā)展/ 176
第8 章　大數(shù)據(jù)分析/ 178
8.1　大數(shù)據(jù)分析基本概念/ 178
8.1.1　數(shù)據(jù)分析與挖掘/ 178
8.1.2　什么是大數(shù)據(jù)分析/ 180
8.1.3　大數(shù)據(jù)分析與機(jī)器學(xué)習(xí)/ 181
8.1.4　大數(shù)據(jù)分析與數(shù)據(jù)科學(xué)范式/ 182
8.2　大數(shù)據(jù)分析流程與框架/ 183
8.2.1　大數(shù)據(jù)分析流程/ 184
8.2.2　業(yè)務(wù)理解/ 185
8.2.3　數(shù)據(jù)理解/ 186
8.2.4　數(shù)據(jù)準(zhǔn)備/ 187
8.2.5　數(shù)據(jù)建模/ 188
8.2.6　模型驗(yàn)證與評(píng)估/ 190
8.2.7　模型部署/ 192
8.3　大數(shù)據(jù)分析模型與分析方法/ 193
8.3.1　數(shù)據(jù)清洗與數(shù)據(jù)探索/ 194
8.3.2　分類與回歸/ 200
8.3.3　聚類分析/ 202
8.3.4　關(guān)聯(lián)分析/ 203
8.3.5　時(shí)間序列分析/ 204
8.4　大數(shù)據(jù)分析關(guān)鍵技術(shù)/ 205
8.4.1　數(shù)據(jù)標(biāo)注/ 205
8.4.2　大數(shù)據(jù)可視化技術(shù)/ 206
8.4.3　時(shí)序模式分析技術(shù)/ 206
8.4.4　多源數(shù)據(jù)融合技術(shù)/ 206
8.5　大數(shù)據(jù)分析典型應(yīng)用/ 207
8.5.1　自然語言處理/ 207
8.5.2　AI 大模型/ 208
8.5.3　生成式人工智能/ 210
8.5.4　知識(shí)圖譜/ 212
第9 章　大數(shù)據(jù)平臺(tái)/ 213
9.1　大數(shù)據(jù)平臺(tái)發(fā)展歷程/ 213
9.1.1　數(shù)據(jù)平臺(tái)的變遷/ 213
9.1.2　什么是大數(shù)據(jù)平臺(tái)/ 214
9.1.3　大數(shù)據(jù)平臺(tái)的發(fā)展/ 215
9.2　湖倉一體技術(shù)/ 217
9.2.1　數(shù)據(jù)倉庫/ 217
9.2.2　數(shù)據(jù)湖/ 217
9.2.3　湖倉一體化/ 219
9.3　數(shù)據(jù)中臺(tái)/ 220
9.3.1　數(shù)據(jù)中臺(tái)的概念/ 220
9.3.2　數(shù)據(jù)中臺(tái)建設(shè)條件/ 222
9.3.3　數(shù)據(jù)中臺(tái)核心能力/ 223
9.3.4　大數(shù)據(jù)與數(shù)據(jù)湖、數(shù)據(jù)中臺(tái)的區(qū)別/ 224
9.4　典型開源大數(shù)據(jù)平臺(tái)/ 224
9.4.1　大數(shù)據(jù)平臺(tái)核心功能/ 225
9.4.2　開源大數(shù)據(jù)平臺(tái)Hadoop系統(tǒng)架構(gòu)/ 225
9.4.3　城市大數(shù)據(jù)平臺(tái)/ 228
第10 章　大數(shù)據(jù)產(chǎn)業(yè)與應(yīng)用/ 232
10.1　大數(shù)據(jù)產(chǎn)業(yè)/ 232
10.1.1　大數(shù)據(jù)產(chǎn)業(yè)基本概念/ 232
10.1.2　大數(shù)據(jù)產(chǎn)業(yè)構(gòu)成/ 233
10.1.3　大數(shù)據(jù)產(chǎn)業(yè)現(xiàn)狀/ 234
10.2　大數(shù)據(jù)產(chǎn)業(yè)商業(yè)模式/ 236
10.2.1　大數(shù)據(jù)產(chǎn)業(yè)鏈/ 236
10.2.2　大數(shù)據(jù)商業(yè)模式/ 237
10.3　大數(shù)據(jù)應(yīng)用/ 238
10.3.1　數(shù)據(jù)應(yīng)用發(fā)展歷程/ 238
10.3.2　大數(shù)據(jù)應(yīng)用賦能新質(zhì)生產(chǎn)力/ 239
10.3.3　大數(shù)據(jù)應(yīng)用現(xiàn)狀/ 243
10.3.4　大數(shù)據(jù)應(yīng)用的難點(diǎn)與挑戰(zhàn)/ 244
10.3.5　大數(shù)據(jù)與實(shí)體經(jīng)濟(jì)融合應(yīng)用/ 244
10.4　大數(shù)據(jù)應(yīng)用案例/ 245
10.4.1　行業(yè)大數(shù)據(jù)/ 245
10.4.2　地球大數(shù)據(jù)/ 246
10.4.3　工業(yè)大數(shù)據(jù)/ 249
參考文獻(xiàn)/ 258