大數(shù)據(jù)通識(shí)讀本

目錄
第1章 引言 1
1.1 大數(shù)據(jù)時(shí)代 1
1.2 大數(shù)據(jù)與思維變革 2
1.3 大數(shù)據(jù)與商業(yè)變革 5
1.4 大數(shù)據(jù)與管理變革 10
第2章 大數(shù)據(jù)概述 13
2.1 大數(shù)據(jù)基礎(chǔ) 13
2.1.1 大數(shù)據(jù)概念 13
2.1.2 大數(shù)據(jù)來(lái)源 15
2.1.3 大數(shù)據(jù)特征及度量單位 17
2.1.4 大數(shù)據(jù)分類(lèi) 19
2.1.5 大數(shù)據(jù)獲取方式 21
2.1.6 大數(shù)據(jù)應(yīng)用場(chǎng)景 21
2.2 大數(shù)據(jù)與云計(jì)算、物聯(lián)網(wǎng)、人工智能 23
2.2.1 云計(jì)算 23
2.2.2 物聯(lián)網(wǎng) 26
2.2.3 大數(shù)據(jù)與云計(jì)算、物聯(lián)網(wǎng)的關(guān)系 27
2.2.4 人工智能 28
2.2.5 大數(shù)據(jù)與人工智能的關(guān)系 30
2.2.6 物聯(lián)網(wǎng)與人工智能的應(yīng)用 30
2.3 大數(shù)據(jù)處理流程 34
2.3.1 大數(shù)據(jù)采集及預(yù)處理 35
2.3.2 大數(shù)據(jù)存儲(chǔ) 37
2.3.3 大數(shù)據(jù)分析 39
2.3.4 大數(shù)據(jù)可視化 40
2.4 大數(shù)據(jù)產(chǎn)業(yè)鏈 41
2.4.1 對(duì)大數(shù)據(jù)產(chǎn)業(yè)的理解 41
2.4.2 大數(shù)據(jù)產(chǎn)業(yè)現(xiàn)狀 42
2.5 大數(shù)據(jù)應(yīng)用案例 44
第3章 大數(shù)據(jù)采集及預(yù)處理 48
3.1 大數(shù)據(jù)采集概述 48
3.1.1 大數(shù)據(jù)采集概念 48
3.1.2 采集數(shù)據(jù)來(lái)源及分類(lèi) 49
3.1.3 大數(shù)據(jù)采集的應(yīng)用 51
3.1.4 大數(shù)據(jù)采集的挑戰(zhàn) 52
3.2 大數(shù)據(jù)的采集方法 54
3.2.1 人工采集 54
3.2.2 系統(tǒng)日志采集 54
3.2.3 ETL工具采集 55
3.2.4 網(wǎng)絡(luò)爬蟲(chóng)采集 56
3.2.5 傳感器采集 58
3.3 大數(shù)據(jù)預(yù)處理技術(shù) 59
3.3.1 數(shù)據(jù)預(yù)處理概念 59
3.3.2 數(shù)據(jù)清洗 59
3.3.3 數(shù)據(jù)集成 63
3.3.4 數(shù)據(jù)變換 63
3.3.5 數(shù)據(jù)歸約 64
3.4 大數(shù)據(jù)采集及預(yù)處理工具 65
3.5 大數(shù)據(jù)采集及預(yù)處理案例 68
3.5.1 城市群時(shí)空大數(shù)據(jù)采集 68
3.5.2 智能交通大數(shù)據(jù)預(yù)處理 71
第4章 大數(shù)據(jù)存儲(chǔ) 73
4.1 存儲(chǔ)介質(zhì)及存儲(chǔ)架構(gòu) 73
4.2 傳統(tǒng)數(shù)據(jù)存儲(chǔ)和管理 77
4.2.1 文件系統(tǒng) 77
4.2.2 關(guān)系數(shù)據(jù)庫(kù) 78
4.2.3 數(shù)據(jù)倉(cāng)庫(kù) 80
4.3 大數(shù)據(jù)時(shí)代的數(shù)據(jù)存儲(chǔ)和管理 82
4.3.1 大數(shù)據(jù)時(shí)代數(shù)據(jù)存儲(chǔ)的新挑戰(zhàn) 82
4.3.2 分布式文件系統(tǒng) 84
4.3.3 HDFS系統(tǒng) 85
4.3.4 NoSQL數(shù)據(jù)庫(kù) 87
4.3.5 HBase數(shù)據(jù)庫(kù) 89
4.3.6 NewSQL數(shù)據(jù)庫(kù) 91
4.3.7 Hive數(shù)據(jù)倉(cāng)庫(kù) 92
4.3.8 云數(shù)據(jù)庫(kù) 94
4.4 大數(shù)據(jù)存儲(chǔ)案例 95
第5章 大數(shù)據(jù)分析 98
5.1 統(tǒng)計(jì)數(shù)據(jù)分析 98
5.1.1 數(shù)據(jù)的頻數(shù)分析 98
5.1.2 數(shù)據(jù)的集中趨勢(shì)分析 100
5.1.3 數(shù)據(jù)的離散趨勢(shì)分析 101
5.1.4 相關(guān)性分析 101
5.2 基于機(jī)器學(xué)習(xí)的數(shù)據(jù)分析 107
5.2.1 回歸 107
5.2.2 分類(lèi) 109
5.3 數(shù)據(jù)分析工具 115
5.3.1 Excel 115
5.3.2 SPSS 115
5.3.3 MATLAB 115
5.3.4 Python 116
5.3.5 R 116
5.4 大數(shù)據(jù)分析案例 116
第6章 大數(shù)據(jù)可視化 124
6.1 可視化基礎(chǔ) 124
6.1.1 可視化概念 124
6.1.2 視覺(jué)感知 125
6.1.3 視覺(jué)編碼 127
6.1.4 可視化的功能 128
6.1.5 可視化發(fā)展歷程 130
6.1.6 數(shù)據(jù)可視化分類(lèi) 131
6.2 可視化圖表 133
6.2.1 散點(diǎn)圖 133
6.2.2 氣泡圖 134
6.2.3 折線圖 135
6.2.4 柱(條)形圖 136
6.2.5 直方圖 137
6.2.6 餅圖 138
6.2.7 雷達(dá)圖 138
6.2.8 等值線圖 139
6.2.9 熱力圖 141
6.2.10 維恩圖 142
6.2.11 盒須圖 142
6.2.12 多圖協(xié)調(diào) 143
6.2.13 標(biāo)簽云圖 144
6.2.14 力引導(dǎo)圖 144
6.3 科學(xué)計(jì)算可視化 145
6.3.1 可視化流程 145
6.3.2 一維可視化 147
6.3.3 二維可視化 147
6.3.4 三維可視化 148
6.3.5 流場(chǎng)可視化 152
6.3.6 大規(guī)模數(shù)據(jù)可視化 152
6.3.7 真實(shí)感渲染技術(shù) 154
6.3.8 體感互動(dòng)技術(shù) 158
6.3.9 增強(qiáng)現(xiàn)實(shí)技術(shù) 159
6.3.10 可視化設(shè)備 160
6.4 大數(shù)據(jù)可視化工具 162
6.4.1 入門(mén)級(jí)可視化工具 162
6.4.2 信息圖表工具 163
6.4.3 地圖工具 165
6.4.4 時(shí)間線工具 165
6.5 大數(shù)據(jù)可視化案例 166
6.5.1 永恒洋流 166
6.5.2 宋詞繾綣，何處畫(huà)人間 166
第7章 大數(shù)據(jù)安全與隱私保護(hù) 169
7.1 大數(shù)據(jù)安全挑戰(zhàn)與需求 169
7.1.1 大數(shù)據(jù)泄露事件 169
7.1.2 大數(shù)據(jù)時(shí)代的安全挑戰(zhàn) 171
7.1.3 各行業(yè)的大數(shù)據(jù)安全需求 173
7.2 大數(shù)據(jù)隱私保護(hù) 175
7.2.1 大數(shù)據(jù)生命周期的隱私保護(hù)模型 175
7.2.2 大數(shù)據(jù)隱私保護(hù)技術(shù) 177
7.3 基于大數(shù)據(jù)的安全技術(shù) 183
7.3.1 基于大數(shù)據(jù)的認(rèn)證技術(shù) 184
7.3.2 基于大數(shù)據(jù)的威脅發(fā)現(xiàn)技術(shù) 185
7.3.3 基于大數(shù)據(jù)的數(shù)據(jù)真實(shí)性分析 187
7.4 大數(shù)據(jù)安全與隱私保護(hù)案例 187
第8章 大數(shù)據(jù)倫理與法律法規(guī) 190
8.1 個(gè)人隱私引發(fā)的倫理問(wèn)題 190
8.1.1 個(gè)性化定制與推薦 191
8.1.2 基于大數(shù)據(jù)的人的心理和性格分析 193
8.1.3 優(yōu)步的“榮耀之旅” 194
8.1.4 個(gè)人的生物特征隱私問(wèn)題 195
8.2 數(shù)字鴻溝問(wèn)題 197
8.3 數(shù)據(jù)時(shí)效性問(wèn)題 199
8.4 數(shù)據(jù)權(quán)歸屬問(wèn)題 201
8.5 大數(shù)據(jù)與數(shù)據(jù)分析的真實(shí)可靠性問(wèn)題 203
8.5.1 大數(shù)據(jù)不等于全數(shù)據(jù) 203
8.5.2 防范數(shù)據(jù)失信和數(shù)據(jù)失真的措施 204
8.5.3 項(xiàng)目設(shè)計(jì)中的算法歧視問(wèn)題 205
8.5.4 項(xiàng)目設(shè)計(jì)中使用方法的偏差 206
8.6 大數(shù)據(jù)相關(guān)法律法規(guī) 208
8.6.1 美國(guó)信息安全戰(zhàn)略布局 208
8.6.2 歐洲聯(lián)盟 209
8.6.3 國(guó)際合作 209
8.6.4 國(guó)內(nèi)的相關(guān)法規(guī) 210
8.7 大數(shù)據(jù)倫理與法律法規(guī)案例 212
第9章 大數(shù)據(jù)應(yīng)用 215
9.1 電信大數(shù)據(jù) 216
9.1.1 電信大數(shù)據(jù)的特點(diǎn) 216
9.1.2 經(jīng)典創(chuàng)新應(yīng)用實(shí)例——電信大數(shù)據(jù)優(yōu)化現(xiàn)代城市功能與服務(wù) 217
9.1.3 電信大數(shù)據(jù)的未來(lái) 221
9.2 金融大數(shù)據(jù) 221
9.2.1 金融大數(shù)據(jù)的特點(diǎn) 221
9.2.2 經(jīng)典創(chuàng)新應(yīng)用案例——個(gè)性化營(yíng)銷(xiāo)策略 222
9.2.3 金融大數(shù)據(jù)應(yīng)用的未來(lái) 223
9.3 政務(wù)大數(shù)據(jù) 224
9.3.1 政務(wù)大數(shù)據(jù)的特點(diǎn) 224
9.3.2 經(jīng)典創(chuàng)新應(yīng)用實(shí)例——政務(wù)大數(shù)據(jù)助力健全監(jiān)管體系 225
9.3.3 政務(wù)大數(shù)據(jù)的未來(lái) 226
9.4 旅游大數(shù)據(jù) 226
9.4.1 旅游大數(shù)據(jù)的特點(diǎn) 226
9.4.2 經(jīng)典創(chuàng)新應(yīng)用實(shí)例——酒店投資決策 227
9.4.3 旅游大數(shù)據(jù)的未來(lái) 227
9.5 大數(shù)據(jù)的其他應(yīng)用 228
9.5.1 大數(shù)據(jù)在制造業(yè)的應(yīng)用 228
9.5.2 大數(shù)據(jù)在能源領(lǐng)域的應(yīng)用 229
9.5.3 大數(shù)據(jù)在交通領(lǐng)域的應(yīng)用 229
9.5.4 大數(shù)據(jù)在零售行業(yè)的應(yīng)用 230
9.5.5 大數(shù)據(jù)技術(shù)的應(yīng)用拓展 231
參考文獻(xiàn) 234