大數(shù)據(jù)浪潮：大數(shù)據(jù)整體解決方案及關(guān)鍵技術(shù)探索

目錄
1大數(shù)據(jù)背景(8)
1.1大數(shù)據(jù)時(shí)代的到來(8)
1.2大數(shù)據(jù)定義及特征(4)
1.3大數(shù)據(jù)價(jià)值(6)
1.4大數(shù)據(jù)備受關(guān)注(7)
1.5大數(shù)據(jù)帶來的挑戰(zhàn)(8)
2大數(shù)據(jù)基礎(chǔ)(10)
2.1云計(jì)算(10)
2.1.1云計(jì)算概述(10)
2.1.2云計(jì)算與大數(shù)據(jù)的聯(lián)系(12)
2.2物聯(lián)網(wǎng)(13)
2.2.1物聯(lián)網(wǎng)概述(13)
2.2.2物聯(lián)網(wǎng)與大數(shù)據(jù)(14)
2.3數(shù)據(jù)中心(14)
2.3.1數(shù)據(jù)中心概述(14)
2.3.2數(shù)據(jù)中心與大數(shù)據(jù)(15)
3大數(shù)據(jù)的生成和采集(19)
3.1大數(shù)據(jù)生成(19)
3.1.1企業(yè)內(nèi)部數(shù)據(jù)(19)
3.1.2物聯(lián)網(wǎng)數(shù)據(jù)(20)
3.1.3互聯(lián)網(wǎng)數(shù)據(jù)(21)
3.1.4生物醫(yī)療數(shù)據(jù)(21)
3.1.5其他科學(xué)數(shù)據(jù)(22)
3.2大數(shù)據(jù)采集(22)
3.2.1數(shù)據(jù)收集(23)
3.2.2數(shù)據(jù)傳輸(25)
3.2.3數(shù)據(jù)預(yù)處理(26)
4大數(shù)據(jù)存儲(chǔ)(28)
4.1海量存儲(chǔ)系統(tǒng)(28)
4.2分布式存儲(chǔ)系統(tǒng)(29)
4.3大數(shù)據(jù)存儲(chǔ)機(jī)制(31)
4.3.1數(shù)據(jù)庫技術(shù)(32)
4.3.2數(shù)據(jù)庫編程模型(36)
5大數(shù)據(jù)分析(39)
5.1傳統(tǒng)數(shù)據(jù)分析方法(39)
5.2大數(shù)據(jù)分析方法(40)
5.3大數(shù)據(jù)分析架構(gòu)(42)
5.4大數(shù)據(jù)挖掘和分析軟件(43)
大數(shù)據(jù)浪潮——大數(shù)據(jù)整體解決方案及關(guān)鍵技術(shù)探索目錄6大數(shù)據(jù)整體解決方案(47)
6.1大數(shù)據(jù)解決方案方法論(47)
6.1.1大數(shù)據(jù)解決方案參考模型(48)
6.1.2大數(shù)據(jù)解決方案分類(49)
6.2大數(shù)據(jù)硬件平臺(tái)(50)
6.2.1可擴(kuò)展性設(shè)計(jì)(51)
6.2.2可定制性設(shè)計(jì)(52)
6.3大數(shù)據(jù)軟件系統(tǒng)(55)
6.3.1大數(shù)據(jù)處理系統(tǒng)核心模塊(55)
6.3.2發(fā)行版增強(qiáng)功能、企業(yè)應(yīng)用優(yōu)化和增值服務(wù)(56)
6.3.3基于內(nèi)存計(jì)算的大數(shù)據(jù)處理系統(tǒng)(60)
6.4大數(shù)據(jù)典型處理流程(63)
6.5大數(shù)據(jù)一體化解決方案比較(67)
7分布式文件系統(tǒng)HDFS(72)
7.1Hadoop I/O操作(72)
7.1.1I/O操作中的數(shù)據(jù)檢查(73)
7.1.2數(shù)據(jù)的壓縮(76)
7.1.3數(shù)據(jù)的I/O中序列化操作(78)
7.2Hadoop文件系統(tǒng)(87)
7.3HDFS體系結(jié)構(gòu)(89)
7.3.1HDFS的特點(diǎn)和局限(89)
7.3.2HDFS相關(guān)概念(90)
7.3.3HDFS架構(gòu)(91)
7.4 HDFS文件結(jié)構(gòu)(94)
7.4.1NameNode的文件結(jié)構(gòu)(94)
7.4.2編輯日志(edit log)及文件系統(tǒng)映像(filesystem image)(95)
7.4.3Secondary NameNode的目錄結(jié)構(gòu)(96)
7.4.4DataNode的目錄結(jié)構(gòu)(97)
7.5HDFS讀/寫數(shù)據(jù)流(98)
7.5.1文件的讀取(98)
7.5.2文件的寫入(99)
7.5.3一致性模型(101)
7.6HDFS命令詳解(102)
7.6.1通過distcp進(jìn)行并行復(fù)制(102)
7.6.2HDFS平衡(103)
7.6.3其他命令(103)
8并行編程模型MapReduce(108)
8.1MapReduce體系結(jié)構(gòu)(108)
8.1.1MapReduce基本模型(108)
8.1.2MapReduce作業(yè)執(zhí)行流程(108)
8.2MapReduce關(guān)鍵流程詳解(110)
8.2.1partiton過程(110)
8.2.2combine過程(111)
8.2.3shuffle過程(112)
8.3MapReduce高級(jí)應(yīng)用(114)
8.3.1二次排序(114)
8.3.2全排序(119)
8.3.3分布式緩存(121)
8.3.4MapReduce 小文件處理與文件壓縮(123)
8.3.5MapReduce負(fù)載均衡(125)
9NoSQL數(shù)據(jù)庫HBase(128)
9.1HBase體系結(jié)構(gòu)(128)
9.2RowKey的設(shè)計(jì)與數(shù)據(jù)訪問(132)
9.3過濾器(135)
9.3.1比較過濾器(137)
9.3.2專用過濾器(137)
9.3.3附加過濾器(139)
9.3.4FilterList(139)
9.3.5自定義過濾器(140)
9.4HBase多維數(shù)據(jù)訪問(142)
9.4.1通過Filter實(shí)現(xiàn)(142)
9.4.2通過設(shè)計(jì)RowKey實(shí)現(xiàn)(143)
9.5協(xié)處理器Coprocessor(143)
9.5.1Coprocessor類(144)
9.5.2協(xié)處理器的加載(144)
9.5.3觀察者(146)
9.5.4終端(150)
9.6二級(jí)索引(154)
9.6.1全局索引（global index）(154)
9.6.2本地索引（local index）(155)
10交互式查詢語言Hive(157)
10.1Hive體系結(jié)構(gòu)(157)
10.1.1Hive客戶端(159)
10.1.2Metastore(159)
10.2Hive數(shù)據(jù)類型(160)
10.2.1基本類型(161)
10.2.2復(fù)雜類型(161)
10.3Hive存儲(chǔ)方式和壓縮類型(162)
10.3.1托管表和外部表(162)
10.3.2存儲(chǔ)方式(163)
10.4Hive關(guān)鍵技術(shù)(164)
10.4.1HiveQL簡介(164)
10.4.2Hive表的創(chuàng)建(165)
10.4.3Hive表的數(shù)據(jù)加載(166)
10.4.4Hive表的查詢(167)
10.4.5Hive表的更改(170)
10.4.6Hive表的刪除(171)
10.4.7Hive表的分區(qū)(171)
10.4.8Hive表的分桶(173)
10.4.9用戶定義函數(shù)(174)
10.5Hive優(yōu)化技術(shù)(175)
10.5.1Join優(yōu)化(175)
10.5.2數(shù)據(jù)傾斜優(yōu)化(176)
10.5.3Map和Reduce個(gè)數(shù)控制(177)
11資源管理和調(diào)度框架——YARN(180)
11.1MRv1架構(gòu)面臨的問題(180)
11.2YARN架構(gòu)(181)
11.2.1YARN整體架構(gòu)(181)
11.2.2RM組件的作用(183)
11.2.3AM組件的作用(184)
11.2.4NM組件的作用(185)
11.2.5運(yùn)行在YARN上的計(jì)算框架(186)
11.2.6在YARN上定制計(jì)算框架(187)
11.3YARN管理后臺(tái)簡介(188)
11.4YARN資源調(diào)度(192)
12內(nèi)存計(jì)算引擎Spark(197)
12.1Spark簡介(197)
12.2Spark整體架構(gòu)(198)
12.3Spark核心概念(199)
12.3.1彈性分布式數(shù)據(jù)集(199)
12.3.2RDD模型的優(yōu)點(diǎn)(200)
12.3.3Spark DAG(201)
12.4Spark編程模型(202)
12.4.1Spark初始化(203)
12.4.2RDDs(203)
12.4.3Shared Variables(205)
12.5Spark相關(guān)組件(207)
12.6Spark應(yīng)用實(shí)例(208)
12.6.1InMemory Analytics(208)
12.6.2Traffic Modeling(209)
12.6.3Twitter Spam Classification (209)
13大數(shù)據(jù)應(yīng)用(213)
13.1大數(shù)據(jù)應(yīng)用演化(213)
13.2大數(shù)據(jù)分析的關(guān)鍵領(lǐng)域(214)
13.2.1結(jié)構(gòu)化數(shù)據(jù)分析(214)
13.2.2文本分析(215)
13.2.3Web分析(216)
13.2.4多媒體分析(217)
13.2.5網(wǎng)絡(luò)分析(218)
13.2.6移動(dòng)分析(219)
14大數(shù)據(jù)案例分析(221)
14.1物聯(lián)網(wǎng)大數(shù)據(jù)(221)
14.1.1物聯(lián)網(wǎng)大數(shù)據(jù)的表示(222)
14.1.2物聯(lián)網(wǎng)大數(shù)據(jù)的預(yù)處理(223)
14.1.3物聯(lián)網(wǎng)大數(shù)據(jù)的快速處理(224)
14.1.4物聯(lián)網(wǎng)大數(shù)據(jù)的并行分析(226)
14.1.5物聯(lián)網(wǎng)大數(shù)據(jù)處理平臺(tái)的搭建(227)
14.2其他大數(shù)據(jù)的典型應(yīng)用(231)
14.2.1企業(yè)級(jí)應(yīng)用(231)
14.2.2社交網(wǎng)絡(luò)大數(shù)據(jù)(232)
14.2.3醫(yī)療健康(234)
14.2.4群智感知(235)
14.2.5智能電網(wǎng)(235)
15總結(jié)(237)
15.1大數(shù)據(jù)的研究熱點(diǎn)及研究方向(237)
15.1.1基礎(chǔ)理論研究(237)
15.1.2關(guān)鍵技術(shù)研究(238)
15.1.3應(yīng)用實(shí)踐研究(238)
15.1.4數(shù)據(jù)安全研究(239)
15.2展望(240)
參考文獻(xiàn)(243)