大數據導論

第１章　大數據的基本知識　1
1.1　大數據概述　1
1.1.1　大數據的特征　1
1.1.2　大數據的意義　3
1.2　大數據的數據類型　6
1.2.1　結構化數據　6
1.2.2　非結構化數據　6
1.2.3　結構化數據和非結構化數據的區(qū)別　7
1.3　大數據政策　7
1.3.1　國外的大數據政策　7
1.3.2　國內的大數據政策　9
1.4　小結　10
1.5　習題　10
第２章　大數據與新一代信息技術　11
2.1　大數據與云計算　11
2.1.1　云計算概述　11
2.1.2　大數據與云計算的區(qū)別與聯系　17
2.2　大數據與物聯網　18
2.2.1　物聯網概述　18
2.2.2　大數據與物聯網的區(qū)別與聯系　21
2.3　大數據與人工智能　21
2.3.1　人工智能概述　21
2.3.2　大數據與人工智能的區(qū)別與聯系　25
2.4　大數據與區(qū)塊鏈　26
2.4.1　區(qū)塊鏈概述　26
2.4.2　大數據與區(qū)塊鏈的區(qū)別與聯系　27
2.5　小結　28
2.6　習題　29
第3章　數據采集　30
3.1　數據采集概述　30
3.1.1　認識數據采集　30
3.1.2　數據采集的常見方式　31
3.2　數據采集平臺　34
3.2.1　Flume　34
3.2.2　Kafka　35
3.2.3　Logstash　37
3.3　網絡爬蟲　37
3.3.1　認識網絡爬蟲　37
3.3.2　網絡爬蟲的分類及特點　40
3.3.3　網絡爬蟲的道德規(guī)范與法律風險　41
3.4　小結　42
3.5　習題　43
第4章　大數據存儲　44
4.1　大數據存儲概述　44
4.1.1　大數據存儲的概念　44
4.1.2　大數據存儲的分類　45
4.2　Hadoop架構　48
4.2.1　認識Hadoop架構　48
4.2.2　Hadoop的起源與發(fā)展　49
4.2.3　Hadoop生態(tài)組件　51
4.3　NoSQL數據庫　63
4.3.1　認識NoSQL數據庫　63
4.3.2　NoSQL數據庫的分類　63
4.4　數據倉庫　69
4.4.1　認識數據倉庫　70
4.4.2　數據倉庫的特點　73
4.4.3　數據倉庫的應用　73
4.5　小結　74
4.6　習題　74
第5章　數據清洗　75
5.1　數據清洗概述　75
5.1.1　認識數據清洗　75
5.1.2　數據清洗的流程　77
5.1.3　數據質量　78
5.2　數據清洗的方法　82
5.2.1　處理缺失值　82
5.2.2　處理異常值　83
5.2.3　處理重復值　85
5.3　數據清洗的常用工具　85
5.3.1　Python　85
5.3.2　R　87
5.3.3　Kettle　88
5.3.4　DataCleaner　89
5.4　小結　91
5.5　習題　91
第6章　大數據分析與挖掘　92
6.1　大數據分析概述　92
6.1.1　大數據分析的概念　92
6.1.2　大數據分析的常用方法　97
6.2　數據挖掘　102
6.2.1　認識數據挖掘　102
6.2.2　數據挖掘的應用　104
6.3　數據挖掘的常見算法　105
6.3.1　K-Means算法　106
6.3.2　KNN算法　107
6.3.3　樸素貝葉斯算法　108
6.3.4　決策樹算法　110
6.3.5　支持向量機算法　112
6.4　小結　114
6.5　習題　114
第7章　數據可視化　115
7.1　數據可視化概述　115
7.1.1　認識數據可視化　115
7.1.2　數據可視化的類型　122
7.2　數據可視化的方法　123
7.2.1　文本可視化　123
7.2.2　社交網絡可視化　125
7.2.3　地理空間可視化　127
7.3　數據可視化的常見工具　130
7.3.1　ECharts　130
7.3.2　Excel　133
7.3.3　D3　135
7.3.4　Tableau　137
7.4　小結　139
7.5　習題　139
第8章　大數據安全與治理　140
8.1　大數據安全概述　140
8.1.1　認識數據安全　140
8.1.2　大數據面臨的安全挑戰(zhàn)　143
8.1.3　大數據安全的關鍵技術　145
8.2　數據治理　151
8.2.1　認識數據治理　151
8.2.2　數據治理的目標　156
8.2.3　數據治理的實現　157
8.3　小結　169
8.4　習題　169
第9章　大數據的應用　170
9.1　農業(yè)大數據　170
9.1.1　認識農業(yè)大數據　170
9.1.2　農業(yè)大數據的關鍵技術　173
9.1.3　農業(yè)大數據的應用　177
9.2　工業(yè)大數據　179
9.2.1　認識工業(yè)大數據　179
9.2.2　工業(yè)大數據的關鍵技術　181
9.2.3　工業(yè)大數據的應用　185
9.3　金融大數據　187
9.3.1　認識金融大數據　187
9.3.2　金融大數據的關鍵技術　189
9.3.3　金融大數據的應用　193
9.4　交通大數據　194
9.4.1　認識交通大數據　194
9.4.2　交通大數據的關鍵因素　197
9.4.3　交通大數據的應用　199
9.5　小結　200
9.6　習題　201
參考文獻　202