大數(shù)據(jù)計(jì)算系統(tǒng)：原理、技術(shù)與應(yīng)用

目　　錄
前言
第一部分　基礎(chǔ)
第1章　大數(shù)據(jù)計(jì)算系統(tǒng)概述2
1.1　大數(shù)據(jù)計(jì)算系統(tǒng)的定義2
1.1.1　大數(shù)據(jù)2
1.1.2　大數(shù)據(jù)計(jì)算4
1.1.3　大數(shù)據(jù)計(jì)算系統(tǒng)4
1.2　常見(jiàn)的大數(shù)據(jù)計(jì)算系統(tǒng)6
1.2.1　批處理計(jì)算框架Hadoop6
1.2.2　分布式計(jì)算框架Spark6
1.2.3　流計(jì)算系統(tǒng)Storm7
1.2.4　分布式圖計(jì)算框架GraphX7
1.2.5　大數(shù)據(jù)計(jì)算系統(tǒng)的對(duì)比7
1.3　大數(shù)據(jù)計(jì)算系統(tǒng)的監(jiān)控與
　　 運(yùn)維概述7
1.3.1　概述7
1.3.2　監(jiān)控與運(yùn)維的范圍8
1.3.3　大數(shù)據(jù)計(jì)算系統(tǒng)的監(jiān)控與
　　　　　　運(yùn)維方法8
1.3.4　大數(shù)據(jù)計(jì)算系統(tǒng)的運(yùn)維目標(biāo)9
1.4　大數(shù)據(jù)計(jì)算系統(tǒng)的性能優(yōu)化10
1.4.1　提升大數(shù)據(jù)計(jì)算系統(tǒng)
　　　　　　性能的途徑10
1.4.2　提升大數(shù)據(jù)計(jì)算系統(tǒng)
　　　　　　性能的難度11
1.4.3　運(yùn)維與性能優(yōu)化的關(guān)系12
習(xí)題112
第二部分　應(yīng)用實(shí)現(xiàn)
第2章　Hadoop的配置與編程14
2.1　批處理計(jì)算框架概述14
2.1.1　計(jì)算框架14
2.1.2　批處理15
2.2　Hadoop環(huán)境的配置與搭建15
2.2.1　環(huán)境配置前的準(zhǔn)備15
2.2.2　Hadoop安裝的預(yù)備知識(shí)16
2.2.3　本地/獨(dú)立模式的配置17
2.2.4　偽分布式模式的配置18
2.2.5　全分布式模式的配置20
2.3　一個(gè)簡(jiǎn)單示例22
2.3.1　環(huán)境與數(shù)據(jù)的準(zhǔn)備22
2.3.2　在IDEA下建立基于Maven
　　　　　　的Hadoop項(xiàng)目23
2.3.3　編寫(xiě)WordCount程序26
2.3.4　Hadoop程序的運(yùn)行過(guò)程與
　　　　　　結(jié)果查看29
2.4　MapReduce編程30
2.4.1　MapReduce計(jì)算模型30
2.4.2　MapReduce程序的運(yùn)行過(guò)程32
2.4.3　去重38
習(xí)題241
第3章　HDFS及其應(yīng)用42
3.1　HDFS概述42
3.2　HDFS Shell43
3.2.1　概述43
3.2.2　幫助的使用方法44
3.2.3　通用命令行操作45
3.3　HDFS目錄與數(shù)據(jù)的瀏覽47
3.4　HDFS API48
3.4.1　概述48
3.4.2　讀文件操作48
3.4.3　寫(xiě)文件操作48
3.4.4　FileUtil文件處理49
3.4.5　HDFS API應(yīng)用示例51
習(xí)題357
第4章　Spark的配置與編程58
4.1　Spark環(huán)境的安裝與部署59
4.1.1　Spark的安裝59
4.1.2　Scala的安裝60
4.1.3　Spark的源碼編譯61
4.1.4　搭建Spark單機(jī)版環(huán)境64
4.1.5　搭建Spark獨(dú)立運(yùn)行環(huán)境66
4.1.6　搭建Spark on YARN環(huán)境68
4.1.7　Spark的高可用性部署70
4.2　Spark的運(yùn)行72
4.2.1　Spark程序運(yùn)行概述72
4.2.2　Spark的本地運(yùn)行過(guò)程73
4.2.3　獨(dú)立運(yùn)行模式74
4.2.4　Spark on YARN的運(yùn)行過(guò)程75
4.2.5　獨(dú)立運(yùn)行模式與YARN
　　　　　 模式的比較76
4.3　Spark Scala編程76
4.3.1　Scala的語(yǔ)法76
4.3.2　Scala編程入門(mén)82
4.3.3　Spark API的使用86
4.3.4　用Scala開(kāi)發(fā)Spark應(yīng)用
　　　　　 程序的案例88
4.3.5　程序運(yùn)行過(guò)程的分析93
習(xí)題495
第5章　Storm的配置與編程96
5.1　流計(jì)算概述96
5.2　Storm概述98
5.2.1　什么是Storm98
5.2.2　Storm的特征98
5.3　Storm開(kāi)發(fā)環(huán)境的搭建99
5.3.1　Storm環(huán)境的配置99
5.3.2　命令行客戶(hù)端102
5.3.3　IDEA下建立Storm的
　　　　　　Maven項(xiàng)目107
5.4　Storm編程109
5.4.1　可以與Storm集成的系統(tǒng)109
5.4.2　計(jì)算模型109
5.4.3　可以使用任何語(yǔ)言110
5.4.4　簡(jiǎn)單的API110
5.5　Storm編程示例—單詞計(jì)數(shù)110
5.5.1　實(shí)現(xiàn)目標(biāo)110
5.5.2　建立編寫(xiě)程序的包名111
5.5.3　編寫(xiě)spouts文件Word-
　　　　　　Reader112
5.5.4　編寫(xiě)bolts文件Word-
　　　　　　Normalizer114
5.5.5　編寫(xiě)bolts文件WordCounter115
5.5.6　編寫(xiě)主函數(shù)文件Topologoy-
　　　　　　　Main116
5.5.7　通過(guò)主函數(shù)文件Topologoy-
　　　　　　Main運(yùn)行程序117
習(xí)題5117
第6章　GraphX及其應(yīng)用118
6.1　圖計(jì)算概述118
6.1.1　圖118
6.1.2　屬性圖119
6.1.3　圖計(jì)算119
6.1.4　支持圖計(jì)算的GraphX120
6.2　GraphX編程120
6.2.1　GraphX項(xiàng)目的導(dǎo)入120
6.2.2　GraphX中屬性圖的表達(dá)120
6.2.3　圖操作符121
6.3　GraphX編程示例126
6.3.1　一個(gè)簡(jiǎn)單的GraphX示例126
6.3.2　GraphX應(yīng)用編程—
　　　子圖發(fā)現(xiàn)129
6.3.3　GraphX應(yīng)用編程—
　　　PageRank130
習(xí)題6132
第三部分　原理
第7章　Hadoop的原理134
7.1　Hadoop的體系結(jié)構(gòu)134
7.2　MapReduce的工作機(jī)制135
7.2.1　背景135
7.2.2　計(jì)算的執(zhí)行流程137
7.2.3　計(jì)算的本地性138
7.3　MapReduce作業(yè)的運(yùn)行機(jī)制139
7.3.1　經(jīng)典的MapReduce139
7.3.2　YARN145
7.4　作業(yè)的調(diào)