走近大數(shù)據(jù)

目 錄 \t
第　1章 大數(shù)據(jù)，心中有數(shù)　1
1．1　從一場親子講座談起　2
1．2　數(shù)據(jù)非今日變大，為什么今天火了　3
1．3　大數(shù)據(jù)帶來的改變漸漸發(fā)生了　6
1．4　大數(shù)據(jù)，首先是數(shù)據(jù)　8
1．5　再議數(shù)據(jù)規(guī)?！?0
1．6　大數(shù)據(jù)概念正解　11
1．6．1　大數(shù)據(jù)等于數(shù)據(jù)大嗎　11
1．6．2　大數(shù)據(jù)>數(shù)據(jù)大　11
1．6．3　大數(shù)據(jù)內(nèi)涵——4V屬性　12
1．6．4　大數(shù)據(jù)原理模擬　12
1．7　再談大數(shù)據(jù)帶來的真正改變　14
第　2章 大數(shù)據(jù)，順勢而為　15
2．1　大數(shù)據(jù)發(fā)展基礎(chǔ)　16
2．1．1　大數(shù)據(jù)商用的前提　16
2．1．2　大數(shù)據(jù)發(fā)展引擎——云計算　16
2．1．3　大數(shù)據(jù)發(fā)展的ABCT模式　23
2．2　大數(shù)據(jù)兩個關(guān)鍵變化　25
2．3　大數(shù)據(jù)獲取與管理　25
2．3．1　大數(shù)據(jù)獲取　25
2．3．2　大數(shù)據(jù)管理　26
2．4　大數(shù)據(jù)存儲　27
2．5　大數(shù)據(jù)分析　28
2．6　大數(shù)據(jù)創(chuàng)新應用　29
2．7　大數(shù)據(jù)安全　31
2．8　大數(shù)據(jù)發(fā)展對我們的要求　31
第3章　準備好了嗎？——大數(shù)據(jù)技術(shù)及應用　33
3．1　大數(shù)據(jù)的基石——Hadoop技術(shù)和應用　35
3．1．1　源自一位爸爸的愛——Hadoop介紹　35
3．1．2　海量、非結(jié)構(gòu)化數(shù)據(jù)的存儲寶典——Hadoop應用場景　36
3．1．3　“打仗親兄弟，上陣父子兵”（拼的是團隊！）——Hadoop
生態(tài)系統(tǒng)　41
3．1．4　如何擺布呢？——Hadoop實施建議　45
3．1．5　Hadoop的“七寸”——技術(shù)關(guān)鍵點　53
3．2　近期發(fā)展勢頭最猛的技術(shù)——Spark的應用　57
3．2．1　“星星之火，可以燎原”——Spark簡介　57
3．2．2　“速度決定一切”——Spark應用場景　58
3．2．3　“另立門戶”的節(jié)奏——Spark生態(tài)系統(tǒng)　60
3．2．4　“火花”的關(guān)鍵點——Spark實施建議　63
3．2．5　“照單抓藥”即可——Spark參數(shù)配置　69
3．3　“中檔價格買中檔車的配置”——MPP數(shù)據(jù)庫的應用　72
3．3．1　“不共享”的并行處理架構(gòu)——MPP數(shù)據(jù)庫簡介　72
3．3．2　完全支持SQL--MPP數(shù)據(jù)庫應用場景　72
3．3．3　“這樣的配置來兩打”——MPP數(shù)據(jù)庫實施建議　74
3．3．4　“對面的女孩看過來”——技術(shù)關(guān)注點　78
3．4　“速度決定一切！”——流處理技術(shù)的應用　80
3．4．1　“流水不腐”——流處理技術(shù)簡介　80
3．4．2　“最快的奔跑”——流處理技術(shù)應用場景　81
3．4．3　看看誰跑得快？——流處理技術(shù)典型產(chǎn)品　82
3．4．4　短跑運動員的配置清單——流處理技術(shù)實施建議　83
3．5　NoSQL技術(shù)的應用　87
3．5．1　NoSQL技術(shù)簡介　88
3．5．2　“大數(shù)據(jù)量查詢”——適用場景　88
3．5．3　“都有誰？”——典型產(chǎn)品　89
3．5．4　如何租給更多人？——多租戶實現(xiàn)方式　92
3．6　在內(nèi)存里跑數(shù)據(jù)庫——內(nèi)存數(shù)據(jù)庫的應用　93
3．6．1　傳統(tǒng)數(shù)據(jù)庫的“土豪”配置——內(nèi)存數(shù)據(jù)庫簡介　93
3．6．2　提速的奢華方式——適用場景　94
3．6．3　哪些是“土豪”的必備——典型產(chǎn)品　95
3．6．4　“土豪”要關(guān)注什么？——技術(shù)關(guān)注點　96
3．7　如何采集更多的數(shù)據(jù)——數(shù)據(jù)采集　97
3．7．1　“沒有數(shù)據(jù)就是無米之炊”——數(shù)據(jù)采集簡介　97
3．7．2　不同的采集方式——適用場景　98
3．7．3　各種工具——技術(shù)簡介　98
3．8　數(shù)據(jù)庫如何分布？——分布式關(guān)系型數(shù)據(jù)庫的應用　106
3．8．1　“分布+傳統(tǒng)數(shù)據(jù)庫”——分布式關(guān)系型數(shù)據(jù)庫簡介　106
3．8．2　數(shù)據(jù)庫的延伸——適用場景　106
3．8．3　支持SQL的分布式數(shù)據(jù)庫——典型產(chǎn)品　107
3．8．4　技術(shù)關(guān)注點　109
3．9　互聯(lián)網(wǎng)的“殺手級應用”——搜索引擎　109
3．9．1　搜索引擎簡介　109
3．9．2　搜索什么？——適用場景　110
3．9．3　產(chǎn)品簡介　110
3．9．4　技術(shù)關(guān)注點　111
3．10　資源隔離的利器——容器的應用　111
3．10．1　獨立的集裝箱——容器簡介　112
3．10．2　容器與虛擬機的區(qū)別　113
3．10．3　集裝箱能用在哪里？——容器應用場景　114
3．10．4　如何部署？——Docker實施建議　115
第4章　大數(shù)據(jù)如何顯示分析結(jié)果？——數(shù)據(jù)分析與數(shù)據(jù)可視化　119
4．1　收集大數(shù)據(jù)就是為了分析——數(shù)據(jù)分析　120
4．1．1　分析方法有哪些？——數(shù)據(jù)分析簡介　120
4．1．2　數(shù)據(jù)分析的過程——適用場景　123
4．1．3　分析工具有哪些？——典型產(chǎn)品　123
4．1．4　什么最火？——深度學習典型產(chǎn)品　125
4．2　大數(shù)據(jù)也要學習“包裝”技術(shù)——數(shù)據(jù)可視化　129
4．2．1　如何讓數(shù)據(jù)更美觀？——數(shù)據(jù)可視化簡介　129
4．2．2　什么時候數(shù)據(jù)需要美化？——適用場景　130
4．2．3　美化數(shù)據(jù)結(jié)果的工具——典型產(chǎn)品　130
第5章　如何構(gòu)建開放的大數(shù)據(jù)平臺？——大數(shù)據(jù)開放平臺構(gòu)建　133
5．1　為什么要開放？——概述　134
5．1．1　開放是趨勢——大數(shù)據(jù)開放平臺的意義　134
5．1．2　誰在使用開放平臺？——大數(shù)據(jù)開放平臺主要角色　135
5．1．3　開放哪些內(nèi)容？——大數(shù)據(jù)開放平臺開放的內(nèi)容與范圍　135
5．2　看看別人家的平臺——大數(shù)據(jù)開放平臺參考架構(gòu)　137
5．3　開放哪些內(nèi)容？——基礎(chǔ)能力的開放　138
5．3．1　自己采集所需——數(shù)據(jù)采集能力開放　138
5．3．2　自己存儲數(shù)據(jù)——數(shù)據(jù)存儲能力開放　140
5．3．3　自己決定處理方式——數(shù)據(jù)處理能力開放　142
5．3．4　自己決定展現(xiàn)形式——展現(xiàn)能力開放　144
5．4　把管理權(quán)力也開放出去——數(shù)據(jù)管理能力的開放　145
5．4．1　自己設(shè)計作業(yè)任務——任務調(diào)度能力開放　145
5．4．2　自己編排數(shù)據(jù)字典——元數(shù)據(jù)管理能力開放　148
5．4．3　自己管理自己的數(shù)據(jù)質(zhì)量——數(shù)據(jù)質(zhì)量管理能力開放　149
5．4．4　自己承擔安全員——數(shù)據(jù)安全管理能力開放　149
5．4．5　能提供哪些服務？——服務目錄能力開放　150
5．5　如何管理系統(tǒng)？——平臺管理　151
5．5．1　系統(tǒng)有什么料？——資源管理　152
5．5．2　如何調(diào)度作業(yè)？——負載管理　152
5．5．3　資源如何分配——配額管理　153
5．5．4　能否計費？——計量管理　153
5．6　“眾人拾柴火焰高”——開發(fā)者門戶　154
5．6．1　“你是誰？”——注冊認證　154
5．6．2　“來個廚房”——資源申請　155
5．6．3　“再來二斤牛肉、一壺好酒”——數(shù)據(jù)申請　156
5．6．4　“吃飽喝足”——開發(fā)上線　157
第6章　安全無小事——大數(shù)據(jù)安全　159
6．1　安全很重要——大數(shù)據(jù)安全概述　160
6．2　非法入侵——數(shù)據(jù)訪問安全　161
6．2．1　你有權(quán)限嗎？——用戶認證　161
6．2．2　誰可以訪問？——用戶管理　164
6．2．3　我授權(quán)給你——用戶授權(quán)　166
6．3　數(shù)據(jù)加密？——數(shù)據(jù)服務安全　169
6．3．1　屏蔽隱私內(nèi)容——數(shù)據(jù)脫敏　169
6．3．2　追查泄露者——數(shù)字水印　170
6．3．3　有口令嗎？——安全令牌管理　171
6．3．4　全程防護——服務攻擊檢測　171
6．4　數(shù)據(jù)存在保險箱就安全嗎？——數(shù)據(jù)存儲安全　173
6．4．1　看不懂的天書——加密　173
6．4．2　不能接觸——數(shù)據(jù)隔離　174
第7章　建設(shè)之后，運維工作更重要——大數(shù)據(jù)運維管理平臺　177
7．1　如何構(gòu)建運維環(huán)境——大數(shù)據(jù)運維管理平臺簡介　178
7．2　功能點有哪些——大數(shù)據(jù)運維管理平臺功能介紹　178
7．2．1　用戶管理　179
7．2．2　節(jié)點管理　179
7．2．3　組件管理　180
7．2．4　監(jiān)控與告警管理　181
7．2．5　日志管理　181
7．3　運維產(chǎn)品有哪些——典型產(chǎn)品　182
7．3．1　產(chǎn)品列表　182
7．3．2　Ambari產(chǎn)品介紹　183
7．3．3　實施建議　184
第8章　數(shù)據(jù)質(zhì)量管理　185
8．1　數(shù)據(jù)質(zhì)量信息存儲　186
8．2　數(shù)據(jù)質(zhì)量監(jiān)控平臺　186
8．2．1　采集管理　187
8．2．2　規(guī)則管理　188
8．2．3　告警管理　193
8．2．4　申告處理　195
8．2．5　知識總結(jié)　196
8．2．6　質(zhì)量報告　197
8．2．7　任務調(diào)度　197
8．3　數(shù)據(jù)質(zhì)量應用功能　198
附錄A　某公司大數(shù)據(jù)系統(tǒng)建設(shè)案例　201
附錄B　SH公司大數(shù)據(jù)PaaS平臺實施經(jīng)驗　215
附錄C　FJ公司關(guān)于大數(shù)據(jù)高速路況實時監(jiān)測項目實施經(jīng)驗　221
附錄D　其他公司大數(shù)據(jù)案例　229
附錄E　D-Docker技術(shù)原理　241