大數(shù)據(jù)走向云計算

目　錄
第1章　云時代　1
1．1　云計算力量　1
1．2　云計算概述　2
1．2．1　云基本特征　3
1．2．2　云計算簡史　4
1．2．3　云計算演化　5
1．2．4　云服務形式　6
1．2．5　云時代誰是主角　10
1．3　云計算的原動力　11
1．3．1　芯片與硬件技術　12
1．3．2　資源虛擬化　12
1．3．3　面向服務架構　13
1．3．4　軟件即服務　13
1．3．5　互聯(lián)網(wǎng)技術　14
1．3．6　Web技術　14
1．4　云研究趨勢　14
1．5　云計算技術　16
1．5．1　虛擬化技術　16
1．5．2　數(shù)據(jù)存儲技術　17
1．5．3　資源管理技術　19
1．5．4　能耗管理技術　20
1．5．5　云監(jiān)測技術　21
1．6　云優(yōu)勢分析　23
1．6．1　優(yōu)化產(chǎn)業(yè)布局　23
1．6．2　推進專業(yè)分工　24
1．6．3　提升資源利用率　25
1．6．4　降低運營成本　26
1．6．5　產(chǎn)生新創(chuàng)價值　26
1．7　云業(yè)務實施　26
1．7．1　基礎設施層　27
1．7．2　平臺層　28
1．7．3　實施應用層　30
1．8　移動云　31
1．8．1　移動云優(yōu)勢　31
1．8．2　應用案例　31
1．9　云標準　32
1．9．1　云標準定制　32
1．9．2　云標準主要內(nèi)容　32
1．9．3　云計算潛在需求分析　33
1．9．4　云標準意義　34
1．9．5　云標準發(fā)展趨勢　34
1．10　云安全　35
1．10．1　云安全發(fā)展趨勢　36
1．10．2　云安全難點問題　36
1．10．3　云安全新增及增強功能　37
1．10．4　云安全存在問題　38
1．11　云計算的九大威脅　39
第2章　大數(shù)據(jù)時代　41
2．1　什么是大數(shù)據(jù)　41
2．2　大數(shù)據(jù)來源　42
2．3　大數(shù)據(jù)商業(yè)價值　43
2．4　打造高能效數(shù)據(jù)中心　44
2．5　大數(shù)據(jù)變革　45
2．5．1　變革公共衛(wèi)生　45
2．5．2　變革商業(yè)　46
2．5．3　變革思維　48
2．5．4　開啟重大的時代轉型　48
2．6　大數(shù)據(jù)的核心　51
2．7　大數(shù)據(jù)的挑戰(zhàn)　51
2．8　大數(shù)據(jù)的現(xiàn)狀　53
2．9　大數(shù)據(jù)推進力　55
2．10　大數(shù)據(jù)存儲　56
2．11　大數(shù)據(jù)治理　57
2．12　大數(shù)據(jù)未來五年路線　58
2．13　大數(shù)據(jù)的應用　59
第3章　大數(shù)據(jù)走向云端　63
3．1　時代雙雄　63
3．2 “大數(shù)據(jù)”走進云端　64
3．3　云計算與大數(shù)據(jù)的聯(lián)系　66
3．3．1　云與大數(shù)據(jù)的聯(lián)系　66
3．3．2　大數(shù)據(jù)和云計算的不同之處　67
3．4　數(shù)據(jù)向云計算遷移　67
3．4．1　遷移過程　67
3．4．2　數(shù)據(jù)的丟失與備份　67
3．4．3　遷移應注意問題　68
3．4．4　管理與監(jiān)控　68
3．5　云延伸　68
3．5．1　云計算的延伸　69
3．5．2　網(wǎng)絡管理維護優(yōu)化　69
3．5．3　用戶行為分析　69
3．5．4　個性化推薦　70
3．5．5　數(shù)據(jù)云服務(DaaS)　70
3．6　云計算與大數(shù)據(jù)挑戰(zhàn)與機遇并存　70
第4章　云下的大數(shù)據(jù)工程　72
4．1　信息所需求的新生力量　72
4．1．1　技術因素　72
4．1．2　商業(yè)模式因素　73
4．2　信息系統(tǒng)工程　73
4．2．1　云計算基本思想　73
4．2．2　云計算實現(xiàn)　74
4．3　信息系統(tǒng)工程架構轉變　81
4．3．1　豎井式的信息系統(tǒng)　81
4．3．2　逐漸完善的系統(tǒng)需求　83
4．3．3　全新的系統(tǒng)架構　86
4．3．4　新型企業(yè)信息系統(tǒng)模塊　87
4．4　商業(yè)變革因素　92
4．4．1　零售企業(yè)的流程再造　92
4．4．2　IT資源使用新方式　94
4．4．3　整合的新平臺　95
4．4．4　轉型新思路　96
4．4．5　創(chuàng)新的新動力　97
4．5　信息工業(yè)革命　97
4．5．1　解放生產(chǎn)力　97
4．5．2　云計算改變信息生活　98
4．5．3　推動社會變革　100
4．6　云計算機遇　102
4．6．1　私有云發(fā)展更快　103
4．6．2　數(shù)據(jù)集中　105
4．6．3　企業(yè)的“云”機遇　106
4．6．4　中國“云”企業(yè)的機遇挑戰(zhàn)　107
第5章　搭建云計算開發(fā)環(huán)境　109
5．1　Hadoop環(huán)境搭建　109
5．1．1　在Linux下安裝Hadoop　109
5．1．2　Hadoop安裝步驟　110
5．1．3　在Windows下安裝Hadoop　115
5．2　Hadoop的優(yōu)點　120
5．3　HBase環(huán)境搭建　121
5．3．1　HBase的系統(tǒng)框架　121
5．3．2　HBase的模型　123
5．3．3　HBase的安裝配置　126
5．4　ZooKeeper環(huán)境搭建　128
5．4．1　ZooKeeper的原理　128
5．4．2　Zookeeper的特點　128
5．4．3　Zookeeper的安裝　129
5．5　MapReduce概述　131
5．5．1　MapReduce實現(xiàn)機制　131
5．5．2　MapReduce執(zhí)行流程　132
5．5．3　MapReduce映射和化簡　133
5．6　Pig環(huán)境搭建　133
5．6．1　Pig概述　133
5．6．2　Pig安裝　134
第6章　分布式文件系統(tǒng)　135
6．1　分布式文件系統(tǒng)概述　135
6．1．1　發(fā)展史　135
6．1．2　實現(xiàn)方法　136
6．1．3　研究狀況　136
6．2　分布式文件系統(tǒng)類型　137
6．2．1　網(wǎng)絡文件系統(tǒng)　137
6．2．2　Andrew文件系統(tǒng)　142
6．2．3　分布式文件系統(tǒng)　143
6．3　xFS概述　144
6．3．1　xFS體系結構　144
6．3．2　xFS通信　145
6．3．3　xFS進程　145
6．3．4　xFS緩存　147
6．3．5　xFS容錯性　147
6．3．6　xFS安全性　148
6．3．7　xFS特性　148
6．3．8　xFS性能考慮　149
6．4　DAFS概述　149
6．4．1　DAFS基本原理　150
6．4．2　DAFS設計目的　150
6．4．3　文件訪問方式　151
6．4．4　實現(xiàn)客戶端　151
6．5　GFS概述　152
6．5．1　文件系統(tǒng)架構　153
6．5．2　GFS的特點　154
6．5．3　文件系統(tǒng)的容錯性　155
6．5．4　系統(tǒng)管理技術　155
6．6　GPFS共享文件　156
6．6．1　GPFS概述　156
6．6．2　GPFS特性　158
6．6．3　GPFS的高性能和可擴展性　159
6．7　Lustre并行文件系統(tǒng)　159
6．7．1　Lustre概述　159
6．7．2　Lustre組成部分　161
6．8　分布式鎖服務Chubby　162
6．8．1　Paxos算法　163
6．8．2　Chubby目標設計　164
6．8．3　Chubby中的Paxos　165
6．8．4　Chubby文件系統(tǒng)　167
6．8．5　Chubby通信協(xié)議　168
6．8．6　正確性和性能　170
6．9　分布式結構數(shù)據(jù)表　171
6．9．1　Bigtable設計目標　171
6．9．2　Bigtable數(shù)據(jù)模型　172
6．9．3　Bigtable系統(tǒng)架構　173
6．9．4　Bigtable功能　174
6．9．5　Bigtable主服務器　174
6．9．6　Bigtable組件　175
6．9．7　性能優(yōu)化　179
第7章　并行計算　181
7．1　并行計算概述　181
7．2　MapReduce基礎　183
7．2．1　編程模型　183
7．2．2　執(zhí)行過程　184
7．2．3　映射和化簡　185
7．2．4　數(shù)據(jù)類型　185
7．2．5　Map類和Reduce類　186
7．2．6　Job對象配置　187
7．3　MapReduce模板　188
7．4　MapReduce計算流程　191
7．4．1　作業(yè)的提交　191
7．4．2　Map任務的分配　192
7．4．3　Map任務的執(zhí)行　193
7．4．4　Reduce任務的分配與執(zhí)行　194
7．5　MapReduce數(shù)據(jù)流優(yōu)化　194
7．5．1　MapReduce輸入與輸出　194
7．5．2　流機制　195
7．5．3　管道機制　196
7．5．4　數(shù)據(jù)流優(yōu)化　197
7．6　MapReduce數(shù)據(jù)類型　198
7．6．1　數(shù)據(jù)內(nèi)置輸入格式　198
7．6．2　數(shù)據(jù)定制輸入格式　199
7．6．3　數(shù)據(jù)定制輸出格式　201
7．7　MapReduce使用算法　203
7．7．1　向量乘法實現(xiàn)　203
7．7．2　內(nèi)存處理　203
7．7．3　關系運算　204
7．8　參數(shù)/數(shù)據(jù)文件的傳遞與使用　208
7．8．1　傳遞全局作業(yè)參數(shù)　208
7．8．2　查詢?nèi)諱apReduce作業(yè)屬性　209
7．8．3　全局數(shù)據(jù)文件的傳遞　210
第8章　大數(shù)據(jù)存儲倉庫　212
8．1　數(shù)據(jù)倉庫　212
8．1．1　RDBMS擴展到HBase　212
8．1．2　列數(shù)據(jù)庫　213
8．1．3　HBase的特點　215
8．2　HBase數(shù)據(jù)庫　216
8．2．1　HBase集群架構　216
8．2．2　HBase系統(tǒng)架構　219
8．3　HBase模型　219
8．3．1　邏輯模型　219
8．3．2　物理模型　220
8．4　HBase接口　221
8．4．1　HBase訪問接口　221
8．4．2　shell命令接口　221
8．4．3　HBase Java接口　222
8．5　HBase基本操作　224
8．5．1　HBase存儲格式　225
8．5．2　HBase讀寫流程　225
8．5．3　HBase表操作　226
第9章　分布式鎖　231
9．1　ZooKeeper基本概述　231
9．1．1　ZooKeeper基本原理　231
9．1．2　統(tǒng)一命名服務　235
9．1．3　配置管理　235
9．1．4　集群管理　236
9．1．5　分布式鎖　237
9．1．6　共享鎖(Locks)　238
9．1．7　隊列　238
9．2　ZooKeeper角色　239
9．2．1　系統(tǒng)模型　239
9．2．2　數(shù)據(jù)模型　240
9．2．3　ZooKeeper的特性　241
9．2．4　ZooKeeper的一致性　242
9．3　ZooKeeper接口與編程　242
9．3．1　ZooKeeper接口　243
9．3．2　ZooKeeper編程實現(xiàn)　244
9．4　性能　246
9．4．1　讀/寫性能測試　246
9．4．2　可靠性測試　246
9．5　ZooKeeper的典型應用　247
9．5．1　數(shù)據(jù)發(fā)布與訂閱應用　248
9．5．2　負載均衡應用　248
9．5．3　分布式通知　249
第10章　數(shù)據(jù)挖掘　250
10．1　數(shù)據(jù)挖掘概述　250
10．1．1　數(shù)據(jù)挖掘起源　251
10．1．2　數(shù)據(jù)挖掘作用　252
10．1．3　定義數(shù)據(jù)挖掘　254
10．1．4　哈希函數(shù)　255
10．1．5　索引　257
10．1．6　實現(xiàn)數(shù)據(jù)挖掘步驟　257
10．2　PageRank工具　258
10．2．1　PageRank概述　258
10．2．2　PageRank定義　259
10．2．3　PageRank相關算法　262
10．2．4　影響PageRank的因素　263
10．3　關聯(lián)分析　263
10．3．1　關聯(lián)分析原理及算法　264
10．3．2　數(shù)據(jù)關聯(lián)推測功能　264
10．3．3　基于用戶行為分析的關聯(lián)推薦　264
10．3．4　數(shù)據(jù)關聯(lián)注意問題　266
10．4　聚類分析　266
10．4．1　聚類分析作用　266
10．4．2　聚類的典型要求　267
10．4．3　聚類分析算法　268
10．4．4　在數(shù)據(jù)挖掘中的應用　269
10．5　分類分析　281
10．5．1　決策樹法　281
10．5．2　神經(jīng)網(wǎng)絡　283
10．6　異常挖掘　284
10．6．1　異常挖掘概述　284
10．6．2　異常挖掘的方法　285
10．7　特異群組分析　288
10．7．1　特性群級挖掘根源　288
10．7．2　何為特異群組挖掘　289
10．7．3　與聚類、異常挖掘的差異　289
10．8　矩估計　293
10．8．1　二階矩估計的AMS算法　293
10．8．2　高階矩估計　294
10．8．3　無限流的處理　294
10．9　衰減窗口　295
10．9．1　定義衰減窗口　296
10．9．2　網(wǎng)絡流頻繁項集　296
10．10　頻繁項集　297
10．10．1　項集概述　297
10．10．2　A-Priori算法　298
10．10．3　A-Priori算法改進　299
10．10．4　更大數(shù)據(jù)集處理　300
10．11　數(shù)據(jù)降維處理　303
10．11．1　相關定義　304
10．11．2　降維算法　305
10．11．3　降維方法　306
第11章　社會中的大數(shù)據(jù)　314
11．1　普適計算　314
11．1．1　普適計算定義　315
11．1．2　普適計算核心思想　315
11．1．3　普適計算目的　315
11．1．4　普適計算特點　315
11．1．5　普適計算面臨挑戰(zhàn)　315
11．1．6　普適計算應用　316
11．2　數(shù)據(jù)應用于治國上　318
11．2．1　循“數(shù)”管理　318
11．2．2　數(shù)據(jù)驗證民權　319
11．2．3　數(shù)據(jù)“打”假　320
11．3　商務智能　321
11．3．1　數(shù)據(jù)到知識的跨越　322
11．3．2　數(shù)據(jù)倉庫　323
11．3．3　聯(lián)機分析　324
11．3．4　數(shù)據(jù)挖掘智能產(chǎn)生　326
11．3．5　數(shù)據(jù)可視化　327
11．4　數(shù)據(jù)質量法與隱私　328
11．4．1　數(shù)據(jù)質量法　328
11．4．2　數(shù)據(jù)隱私　329
11．5　數(shù)據(jù)運動　331
11．5．1　數(shù)據(jù)開放　331
11．5．2　數(shù)據(jù)之爭　333
11．6　數(shù)據(jù)大趨勢　334
11．6．1　數(shù)據(jù)權　334
11．6．2　數(shù)據(jù)大合流　335
11．6．3　互聯(lián)網(wǎng)再造　336
11．7　數(shù)據(jù)大挑戰(zhàn)　338
11．7．1　數(shù)據(jù)競爭　338
11．7．2　從大數(shù)據(jù)到社會　340
第12章　云下的大數(shù)據(jù)應用　342
12．1　云計算如何實現(xiàn)價值　342
12．2　云與大數(shù)據(jù)　342
12．2．1　大的數(shù)據(jù)優(yōu)先級　343
12．2．2　云與大數(shù)據(jù)　343
12．3　云計算與大數(shù)據(jù)的強強聯(lián)合　343
12．3．1　大數(shù)據(jù)的企業(yè)與技術　344
12．3．2　大數(shù)據(jù)的經(jīng)濟意義　344
12．4　大數(shù)據(jù)時代下的云計算應用部署　345
12．5　云計算在快速消費品行業(yè)的應用　345
12．5．1　改變傳統(tǒng)交通管理的路徑　346
12．5．2　在智能交通應用上的優(yōu)勢　347
12．6　大數(shù)據(jù)在視頻監(jiān)控中的應用　348
12．6．1　解決實時視點監(jiān)控需求　349
12．6．2　大數(shù)據(jù)處理解決方案　349
12．6．3　實時高效的分布式視頻監(jiān)控　350
12．7　區(qū)域醫(yī)療大數(shù)據(jù)應用案例　350
12．7．1　挑戰(zhàn)　351
12．7．2　海量數(shù)據(jù)的處理和分析　351
12．7．3　結論　352
12．7．4　價值　352