大數(shù)據(jù)走向云計(jì)算

目　錄
第1章　云時(shí)代　1
1．1　云計(jì)算力量　1
1．2　云計(jì)算概述　2
1．2．1　云基本特征　3
1．2．2　云計(jì)算簡(jiǎn)史　4
1．2．3　云計(jì)算演化　5
1．2．4　云服務(wù)形式　6
1．2．5　云時(shí)代誰是主角　10
1．3　云計(jì)算的原動(dòng)力　11
1．3．1　芯片與硬件技術(shù)　12
1．3．2　資源虛擬化　12
1．3．3　面向服務(wù)架構(gòu)　13
1．3．4　軟件即服務(wù)　13
1．3．5　互聯(lián)網(wǎng)技術(shù)　14
1．3．6　Web技術(shù)　14
1．4　云研究趨勢(shì)　14
1．5　云計(jì)算技術(shù)　16
1．5．1　虛擬化技術(shù)　16
1．5．2　數(shù)據(jù)存儲(chǔ)技術(shù)　17
1．5．3　資源管理技術(shù)　19
1．5．4　能耗管理技術(shù)　20
1．5．5　云監(jiān)測(cè)技術(shù)　21
1．6　云優(yōu)勢(shì)分析　23
1．6．1　優(yōu)化產(chǎn)業(yè)布局　23
1．6．2　推進(jìn)專業(yè)分工　24
1．6．3　提升資源利用率　25
1．6．4　降低運(yùn)營(yíng)成本　26
1．6．5　產(chǎn)生新創(chuàng)價(jià)值　26
1．7　云業(yè)務(wù)實(shí)施　26
1．7．1　基礎(chǔ)設(shè)施層　27
1．7．2　平臺(tái)層　28
1．7．3　實(shí)施應(yīng)用層　30
1．8　移動(dòng)云　31
1．8．1　移動(dòng)云優(yōu)勢(shì)　31
1．8．2　應(yīng)用案例　31
1．9　云標(biāo)準(zhǔn)　32
1．9．1　云標(biāo)準(zhǔn)定制　32
1．9．2　云標(biāo)準(zhǔn)主要內(nèi)容　32
1．9．3　云計(jì)算潛在需求分析　33
1．9．4　云標(biāo)準(zhǔn)意義　34
1．9．5　云標(biāo)準(zhǔn)發(fā)展趨勢(shì)　34
1．10　云安全　35
1．10．1　云安全發(fā)展趨勢(shì)　36
1．10．2　云安全難點(diǎn)問題　36
1．10．3　云安全新增及增強(qiáng)功能　37
1．10．4　云安全存在問題　38
1．11　云計(jì)算的九大威脅　39
第2章　大數(shù)據(jù)時(shí)代　41
2．1　什么是大數(shù)據(jù)　41
2．2　大數(shù)據(jù)來源　42
2．3　大數(shù)據(jù)商業(yè)價(jià)值　43
2．4　打造高能效數(shù)據(jù)中心　44
2．5　大數(shù)據(jù)變革　45
2．5．1　變革公共衛(wèi)生　45
2．5．2　變革商業(yè)　46
2．5．3　變革思維　48
2．5．4　開啟重大的時(shí)代轉(zhuǎn)型　48
2．6　大數(shù)據(jù)的核心　51
2．7　大數(shù)據(jù)的挑戰(zhàn)　51
2．8　大數(shù)據(jù)的現(xiàn)狀　53
2．9　大數(shù)據(jù)推進(jìn)力　55
2．10　大數(shù)據(jù)存儲(chǔ)　56
2．11　大數(shù)據(jù)治理　57
2．12　大數(shù)據(jù)未來五年路線　58
2．13　大數(shù)據(jù)的應(yīng)用　59
第3章　大數(shù)據(jù)走向云端　63
3．1　時(shí)代雙雄　63
3．2 “大數(shù)據(jù)”走進(jìn)云端　64
3．3　云計(jì)算與大數(shù)據(jù)的聯(lián)系　66
3．3．1　云與大數(shù)據(jù)的聯(lián)系　66
3．3．2　大數(shù)據(jù)和云計(jì)算的不同之處　67
3．4　數(shù)據(jù)向云計(jì)算遷移　67
3．4．1　遷移過程　67
3．4．2　數(shù)據(jù)的丟失與備份　67
3．4．3　遷移應(yīng)注意問題　68
3．4．4　管理與監(jiān)控　68
3．5　云延伸　68
3．5．1　云計(jì)算的延伸　69
3．5．2　網(wǎng)絡(luò)管理維護(hù)優(yōu)化　69
3．5．3　用戶行為分析　69
3．5．4　個(gè)性化推薦　70
3．5．5　數(shù)據(jù)云服務(wù)(DaaS)　70
3．6　云計(jì)算與大數(shù)據(jù)挑戰(zhàn)與機(jī)遇并存　70
第4章　云下的大數(shù)據(jù)工程　72
4．1　信息所需求的新生力量　72
4．1．1　技術(shù)因素　72
4．1．2　商業(yè)模式因素　73
4．2　信息系統(tǒng)工程　73
4．2．1　云計(jì)算基本思想　73
4．2．2　云計(jì)算實(shí)現(xiàn)　74
4．3　信息系統(tǒng)工程架構(gòu)轉(zhuǎn)變　81
4．3．1　豎井式的信息系統(tǒng)　81
4．3．2　逐漸完善的系統(tǒng)需求　83
4．3．3　全新的系統(tǒng)架構(gòu)　86
4．3．4　新型企業(yè)信息系統(tǒng)模塊　87
4．4　商業(yè)變革因素　92
4．4．1　零售企業(yè)的流程再造　92
4．4．2　IT資源使用新方式　94
4．4．3　整合的新平臺(tái)　95
4．4．4　轉(zhuǎn)型新思路　96
4．4．5　創(chuàng)新的新動(dòng)力　97
4．5　信息工業(yè)革命　97
4．5．1　解放生產(chǎn)力　97
4．5．2　云計(jì)算改變信息生活　98
4．5．3　推動(dòng)社會(huì)變革　100
4．6　云計(jì)算機(jī)遇　102
4．6．1　私有云發(fā)展更快　103
4．6．2　數(shù)據(jù)集中　105
4．6．3　企業(yè)的“云”機(jī)遇　106
4．6．4　中國(guó)“云”企業(yè)的機(jī)遇挑戰(zhàn)　107
第5章　搭建云計(jì)算開發(fā)環(huán)境　109
5．1　Hadoop環(huán)境搭建　109
5．1．1　在Linux下安裝Hadoop　109
5．1．2　Hadoop安裝步驟　110
5．1．3　在Windows下安裝Hadoop　115
5．2　Hadoop的優(yōu)點(diǎn)　120
5．3　HBase環(huán)境搭建　121
5．3．1　HBase的系統(tǒng)框架　121
5．3．2　HBase的模型　123
5．3．3　HBase的安裝配置　126
5．4　ZooKeeper環(huán)境搭建　128
5．4．1　ZooKeeper的原理　128
5．4．2　Zookeeper的特點(diǎn)　128
5．4．3　Zookeeper的安裝　129
5．5　MapReduce概述　131
5．5．1　MapReduce實(shí)現(xiàn)機(jī)制　131
5．5．2　MapReduce執(zhí)行流程　132
5．5．3　MapReduce映射和化簡(jiǎn)　133
5．6　Pig環(huán)境搭建　133
5．6．1　Pig概述　133
5．6．2　Pig安裝　134
第6章　分布式文件系統(tǒng)　135
6．1　分布式文件系統(tǒng)概述　135
6．1．1　發(fā)展史　135
6．1．2　實(shí)現(xiàn)方法　136
6．1．3　研究狀況　136
6．2　分布式文件系統(tǒng)類型　137
6．2．1　網(wǎng)絡(luò)文件系統(tǒng)　137
6．2．2　Andrew文件系統(tǒng)　142
6．2．3　分布式文件系統(tǒng)　143
6．3　xFS概述　144
6．3．1　xFS體系結(jié)構(gòu)　144
6．3．2　xFS通信　145
6．3．3　xFS進(jìn)程　145
6．3．4　xFS緩存　147
6．3．5　xFS容錯(cuò)性　147
6．3．6　xFS安全性　148
6．3．7　xFS特性　148
6．3．8　xFS性能考慮　149
6．4　DAFS概述　149
6．4．1　DAFS基本原理　150
6．4．2　DAFS設(shè)計(jì)目的　150
6．4．3　文件訪問方式　151
6．4．4　實(shí)現(xiàn)客戶端　151
6．5　GFS概述　152
6．5．1　文件系統(tǒng)架構(gòu)　153
6．5．2　GFS的特點(diǎn)　154
6．5．3　文件系統(tǒng)的容錯(cuò)性　155
6．5．4　系統(tǒng)管理技術(shù)　155
6．6　GPFS共享文件　156
6．6．1　GPFS概述　156
6．6．2　GPFS特性　158
6．6．3　GPFS的高性能和可擴(kuò)展性　159
6．7　Lustre并行文件系統(tǒng)　159
6．7．1　Lustre概述　159
6．7．2　Lustre組成部分　161
6．8　分布式鎖服務(wù)Chubby　162
6．8．1　Paxos算法　163
6．8．2　Chubby目標(biāo)設(shè)計(jì)　164
6．8．3　Chubby中的Paxos　165
6．8．4　Chubby文件系統(tǒng)　167
6．8．5　Chubby通信協(xié)議　168
6．8．6　正確性和性能　170
6．9　分布式結(jié)構(gòu)數(shù)據(jù)表　171
6．9．1　Bigtable設(shè)計(jì)目標(biāo)　171
6．9．2　Bigtable數(shù)據(jù)模型　172
6．9．3　Bigtable系統(tǒng)架構(gòu)　173
6．9．4　Bigtable功能　174
6．9．5　Bigtable主服務(wù)器　174
6．9．6　Bigtable組件　175
6．9．7　性能優(yōu)化　179
第7章　并行計(jì)算　181
7．1　并行計(jì)算概述　181
7．2　MapReduce基礎(chǔ)　183
7．2．1　編程模型　183
7．2．2　執(zhí)行過程　184
7．2．3　映射和化簡(jiǎn)　185
7．2．4　數(shù)據(jù)類型　185
7．2．5　Map類和Reduce類　186
7．2．6　Job對(duì)象配置　187
7．3　MapReduce模板　188
7．4　MapReduce計(jì)算流程　191
7．4．1　作業(yè)的提交　191
7．4．2　Map任務(wù)的分配　192
7．4．3　Map任務(wù)的執(zhí)行　193
7．4．4　Reduce任務(wù)的分配與執(zhí)行　194
7．5　MapReduce數(shù)據(jù)流優(yōu)化　194
7．5．1　MapReduce輸入與輸出　194
7．5．2　流機(jī)制　195
7．5．3　管道機(jī)制　196
7．5．4　數(shù)據(jù)流優(yōu)化　197
7．6　MapReduce數(shù)據(jù)類型　198
7．6．1　數(shù)據(jù)內(nèi)置輸入格式　198
7．6．2　數(shù)據(jù)定制輸入格式　199
7．6．3　數(shù)據(jù)定制輸出格式　201
7．7　MapReduce使用算法　203
7．7．1　向量乘法實(shí)現(xiàn)　203
7．7．2　內(nèi)存處理　203
7．7．3　關(guān)系運(yùn)算　204
7．8　參數(shù)/數(shù)據(jù)文件的傳遞與使用　208
7．8．1　傳遞全局作業(yè)參數(shù)　208
7．8．2　查詢?nèi)諱apReduce作業(yè)屬性　209
7．8．3　全局?jǐn)?shù)據(jù)文件的傳遞　210
第8章　大數(shù)據(jù)存儲(chǔ)倉(cāng)庫(kù)　212
8．1　數(shù)據(jù)倉(cāng)庫(kù)　212
8．1．1　RDBMS擴(kuò)展到HBase　212
8．1．2　列數(shù)據(jù)庫(kù)　213
8．1．3　HBase的特點(diǎn)　215
8．2　HBase數(shù)據(jù)庫(kù)　216
8．2．1　HBase集群架構(gòu)　216
8．2．2　HBase系統(tǒng)架構(gòu)　219
8．3　HBase模型　219
8．3．1　邏輯模型　219
8．3．2　物理模型　220
8．4　HBase接口　221
8．4．1　HBase訪問接口　221
8．4．2　shell命令接口　221
8．4．3　HBase Java接口　222
8．5　HBase基本操作　224
8．5．1　HBase存儲(chǔ)格式　225
8．5．2　HBase讀寫流程　225
8．5．3　HBase表操作　226
第9章　分布式鎖　231
9．1　ZooKeeper基本概述　231
9．1．1　ZooKeeper基本原理　231
9．1．2　統(tǒng)一命名服務(wù)　235
9．1．3　配置管理　235
9．1．4　集群管理　236
9．1．5　分布式鎖　237
9．1．6　共享鎖(Locks)　238
9．1．7　隊(duì)列　238
9．2　ZooKeeper角色　239
9．2．1　系統(tǒng)模型　239
9．2．2　數(shù)據(jù)模型　240
9．2．3　ZooKeeper的特性　241
9．2．4　ZooKeeper的一致性　242
9．3　ZooKeeper接口與編程　242
9．3．1　ZooKeeper接口　243
9．3．2　ZooKeeper編程實(shí)現(xiàn)　244
9．4　性能　246
9．4．1　讀/寫性能測(cè)試　246
9．4．2　可靠性測(cè)試　246
9．5　ZooKeeper的典型應(yīng)用　247
9．5．1　數(shù)據(jù)發(fā)布與訂閱應(yīng)用　248
9．5．2　負(fù)載均衡應(yīng)用　248
9．5．3　分布式通知　249
第10章　數(shù)據(jù)挖掘　250
10．1　數(shù)據(jù)挖掘概述　250
10．1．1　數(shù)據(jù)挖掘起源　251
10．1．2　數(shù)據(jù)挖掘作用　252
10．1．3　定義數(shù)據(jù)挖掘　254
10．1．4　哈希函數(shù)　255
10．1．5　索引　257
10．1．6　實(shí)現(xiàn)數(shù)據(jù)挖掘步驟　257
10．2　PageRank工具　258
10．2．1　PageRank概述　258
10．2．2　PageRank定義　259
10．2．3　PageRank相關(guān)算法　262
10．2．4　影響PageRank的因素　263
10．3　關(guān)聯(lián)分析　263
10．3．1　關(guān)聯(lián)分析原理及算法　264
10．3．2　數(shù)據(jù)關(guān)聯(lián)推測(cè)功能　264
10．3．3　基于用戶行為分析的關(guān)聯(lián)推薦　264
10．3．4　數(shù)據(jù)關(guān)聯(lián)注意問題　266
10．4　聚類分析　266
10．4．1　聚類分析作用　266
10．4．2　聚類的典型要求　267
10．4．3　聚類分析算法　268
10．4．4　在數(shù)據(jù)挖掘中的應(yīng)用　269
10．5　分類分析　281
10．5．1　決策樹法　281
10．5．2　神經(jīng)網(wǎng)絡(luò)　283
10．6　異常挖掘　284
10．6．1　異常挖掘概述　284
10．6．2　異常挖掘的方法　285
10．7　特異群組分析　288
10．7．1　特性群級(jí)挖掘根源　288
10．7．2　何為特異群組挖掘　289
10．7．3　與聚類、異常挖掘的差異　289
10．8　矩估計(jì)　293
10．8．1　二階矩估計(jì)的AMS算法　293
10．8．2　高階矩估計(jì)　294
10．8．3　無限流的處理　294
10．9　衰減窗口　295
10．9．1　定義衰減窗口　296
10．9．2　網(wǎng)絡(luò)流頻繁項(xiàng)集　296
10．10　頻繁項(xiàng)集　297
10．10．1　項(xiàng)集概述　297
10．10．2　A-Priori算法　298
10．10．3　A-Priori算法改進(jìn)　299
10．10．4　更大數(shù)據(jù)集處理　300
10．11　數(shù)據(jù)降維處理　303
10．11．1　相關(guān)定義　304
10．11．2　降維算法　305
10．11．3　降維方法　306
第11章　社會(huì)中的大數(shù)據(jù)　314
11．1　普適計(jì)算　314
11．1．1　普適計(jì)算定義　315
11．1．2　普適計(jì)算核心思想　315
11．1．3　普適計(jì)算目的　315
11．1．4　普適計(jì)算特點(diǎn)　315
11．1．5　普適計(jì)算面臨挑戰(zhàn)　315
11．1．6　普適計(jì)算應(yīng)用　316
11．2　數(shù)據(jù)應(yīng)用于治國(guó)上　318
11．2．1　循“數(shù)”管理　318
11．2．2　數(shù)據(jù)驗(yàn)證民權(quán)　319
11．2．3　數(shù)據(jù)“打”假　320
11．3　商務(wù)智能　321
11．3．1　數(shù)據(jù)到知識(shí)的跨越　322
11．3．2　數(shù)據(jù)倉(cāng)庫(kù)　323
11．3．3　聯(lián)機(jī)分析　324
11．3．4　數(shù)據(jù)挖掘智能產(chǎn)生　326
11．3．5　數(shù)據(jù)可視化　327
11．4　數(shù)據(jù)質(zhì)量法與隱私　328
11．4．1　數(shù)據(jù)質(zhì)量法　328
11．4．2　數(shù)據(jù)隱私　329
11．5　數(shù)據(jù)運(yùn)動(dòng)　331
11．5．1　數(shù)據(jù)開放　331
11．5．2　數(shù)據(jù)之爭(zhēng)　333
11．6　數(shù)據(jù)大趨勢(shì)　334
11．6．1　數(shù)據(jù)權(quán)　334
11．6．2　數(shù)據(jù)大合流　335
11．6．3　互聯(lián)網(wǎng)再造　336
11．7　數(shù)據(jù)大挑戰(zhàn)　338
11．7．1　數(shù)據(jù)競(jìng)爭(zhēng)　338
11．7．2　從大數(shù)據(jù)到社會(huì)　340
第12章　云下的大數(shù)據(jù)應(yīng)用　342
12．1　云計(jì)算如何實(shí)現(xiàn)價(jià)值　342
12．2　云與大數(shù)據(jù)　342
12．2．1　大的數(shù)據(jù)優(yōu)先級(jí)　343
12．2．2　云與大數(shù)據(jù)　343
12．3　云計(jì)算與大數(shù)據(jù)的強(qiáng)強(qiáng)聯(lián)合　343
12．3．1　大數(shù)據(jù)的企業(yè)與技術(shù)　344
12．3．2　大數(shù)據(jù)的經(jīng)濟(jì)意義　344
12．4　大數(shù)據(jù)時(shí)代下的云計(jì)算應(yīng)用部署　345
12．5　云計(jì)算在快速消費(fèi)品行業(yè)的應(yīng)用　345
12．5．1　改變傳統(tǒng)交通管理的路徑　346
12．5．2　在智能交通應(yīng)用上的優(yōu)勢(shì)　347
12．6　大數(shù)據(jù)在視頻監(jiān)控中的應(yīng)用　348
12．6．1　解決實(shí)時(shí)視點(diǎn)監(jiān)控需求　349
12．6．2　大數(shù)據(jù)處理解決方案　349
12．6．3　實(shí)時(shí)高效的分布式視頻監(jiān)控　350
12．7　區(qū)域醫(yī)療大數(shù)據(jù)應(yīng)用案例　350
12．7．1　挑戰(zhàn)　351
12．7．2　海量數(shù)據(jù)的處理和分析　351
12．7．3　結(jié)論　352
12．7．4　價(jià)值　352