Spark GraphX實(shí)戰(zhàn)

目錄
序言 ．．．．．．．．．．．．．．．XI
致謝 ．．．．．．．．．．．．．XIII
關(guān)于本書 ．．．．． XIV
關(guān)于封面插圖．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． XVIII
第1部分　Spark和圖
１　兩項(xiàng)重要的技術(shù)：Spark和圖 ．．．．．．．． 3
1．1　Spark：超越Hadoop MapReduce ．．． 4
1．1．1　模糊的大數(shù)據(jù)定義 ．．．．．．．．．．．．． 6
1．1．2　Hadoop：Spark之前的世界 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 6
1．1．3　Spark：內(nèi)存中的 MapReduce處理 ．．．．．．．．．．．．．．．．．．．．．．． 7
1．2　圖：挖掘關(guān)系中的含義 ．．．．．．．．．．．．．．．．． 9
1．2．1　圖的應(yīng)用 ．．．．．．．．．．．．．．．．．．．．．．．．．．． 11
1．2．2　圖數(shù)據(jù)的類型 ．．．．．．．．．．．．．．．．．．． 12
1．2．3　普通的關(guān)系型數(shù)據(jù)庫(kù)在圖方面的不足 ．．．．．．．．．．．．．．．． 14
1．3　把快如閃電的圖處理放到一起：Spark GraphX ．．．．．．．．．．．．． 14
1．3．1　圖的屬性：增加豐富性 ．．． 15
1．3．2　圖的分區(qū)：當(dāng)圖變?yōu)榇髷?shù)據(jù)集時(shí) ．．．．．．．．．．．．．．．．．．．．．．．． 17
1．3．3　GraphX允許選擇：圖并行還是數(shù)據(jù)并行 ．．．．．．．．．． 19
1．3．4　GraphX支持的各種數(shù)據(jù)處理方式 ．．．．．．．．．．．．．．．．．．．．．． 19
1．3．5　GraphX與其他圖系統(tǒng) ．．．．． 21
1．3．6　圖存儲(chǔ)：分布式文件存儲(chǔ)與圖數(shù)據(jù)庫(kù) ．．．．．．．．．．．．．．．． 23
1．4　小結(jié) ．．．．．．．．．． 23
2　GraphX快速入門 ．．．．．．．．．．．．．．．．．．．．．．．．．． 24
2．1　準(zhǔn)備開(kāi)始并準(zhǔn)備數(shù)據(jù) ．．．．．．．．．．．．．．．．．．． 24
2．2　用Spark Shell做GraphX交互式查詢 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 26
2．3　PageRank算法示例 ．．．．．．．．．．．．．．．．．．．．．．． 29
2．4　小結(jié) ．．．．．．．．．． 31
3　基礎(chǔ)知識(shí)．． 32
3．1　Scala―Spark的原生編程語(yǔ)言 ． 33
3．1．1　Scala的理念：簡(jiǎn)潔和表現(xiàn)力 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 33
3．1．2　函數(shù)式編程 ．．．．．．．．．．．．．．．．．．．．．．． 34
3．1．3　類型推斷 ．．．．．．．．．．．．．．．．．．．．．．．．．．． 38
3．1．4　類的聲明 ．．．．．．．．．．．．．．．．．．．．．．．．．．． 39
3．1．5　map和 reduce ．．．．．．．．．．．．．．．．．．． 41
3．1．6　一切皆是“函數(shù)” ．．．．．．．．．．．．． 42
3．1．7　與 Java的互操作性 ．．．．．．．．．． 44
3．2　Spark ．．．．．．．．． 44
3．2．1　分布式內(nèi)存數(shù)據(jù)： RDD ．． 44
3．2．2　延遲求值 ．．．．．．．．．．．．．．．．．．．．．．．．．．． 47
3．2．3　集群要求和術(shù)語(yǔ)解釋 ．．．．．．． 49
3．2．4　序列化 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 50
3．2．5　常用的 RDD操作 ．．．．．．．．．．．． 50
3．2．6　Spark和 SBT初步 ．．．．．．．．．．． 54
3．3　圖術(shù)語(yǔ)解釋 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 55
3．3．1　基礎(chǔ) ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 55
3．3．2　RDF圖和屬性圖 ．．．．．．．．．．．．．． 58
3．3．3　鄰接矩陣 ．．．．．．．．．．．．．．．．．．．．．．．．．．． 59
3．3．4　圖查詢系統(tǒng) ．．．．．．．．．．．．．．．．．．．．．．． 59
3．4　小結(jié) ．．．．．．．．．． 60
第2部分　連接頂點(diǎn)
４　GraphX 基礎(chǔ) ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 65
4．1　頂點(diǎn)對(duì)象與邊對(duì)象 ．．．．．．．．．．．．．．．．．．．．．．． 65
4．2　mapping操作 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 71
4．2．1　簡(jiǎn)單的圖轉(zhuǎn)換 ．．．．．．．．．．．．．．．．．．． 71
4．2．2　Map/Reduce ．．．．．．．．．．．．．．．．．．．．．． 73
4．2．3　迭代的 Map/Reduce ．．．．．．．．． 77
4．3　序列化/反序列化 ．．．．．．．．．．．．．．．．．．．．．．．．．． 79
4．3．1　讀 /寫二進(jìn)制格式的數(shù)據(jù) 79
4．3．2　JSON格式 ．．．．．．．．．．．．．．．．．．．．．．．． 81
4．3．3　Gephi可視化軟件的 GEXF格式 ．．．．．．．．．．．．．．．．．．．．．．．．． 85
4．4　圖生成 ．．．．．． 86
4．4．1　確定的圖 ．．．．．．．．．．．．．．．．．．．．．．．．．．． 86
4．4．2　隨機(jī)圖 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 88
4．5　Pregel API ． 90
4．6　小結(jié) ．．．．．．．．．． 96
5　內(nèi)置圖算法 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 97
5．1　找出重要的圖節(jié)點(diǎn)：網(wǎng)頁(yè)排名 ．．． 98
5．1．1　PageRank算法解釋 ．．．．．．．．．． 98
5．1．2　在 GraphX中使用 PageRank ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 99
5．1．3　個(gè)性化的 PageRank ．．．．．．．． 102
5．2　衡量連通性：三角形數(shù) ．．．．．．．．．．．．． 103
5．2．1　三角形關(guān)系的用法 ．．．．．．．．． 103
5．2．2　Slashdot朋友和反對(duì)者的用戶關(guān)系示例 ．．．．．．．．．．． 104
5．3　查找最少的跳躍：最短路徑 ．．．．． 106
5．4　找到孤島人群：連通組件 ．．．．．．．．． 107
5．4．1　預(yù)測(cè)社交圈子 ．．．．．．．．．．．．．．．．． 108
5．5　受歡迎的回饋：增強(qiáng)連通組件 ． 114
5．6　社區(qū)發(fā)現(xiàn)算法：標(biāo)簽傳播 ．．．．．．．．． 115
5．7　小結(jié) ．．．．．．．． 117
6　其他有用的圖算法 ．．．．．．．．．．．．．．．．．．．．．．．118
6．1　你自己的GPS：有權(quán)值的最短路徑 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 119
6．2　旅行推銷員問(wèn)題：貪心算法 ．．．．． 124
6．3　路徑規(guī)劃工具：最小生成樹(shù) ．．．．． 127
6．3．1　基于 Word2Vec的推導(dǎo)分類法和最小生成樹(shù) ．．． 131
6．4　小結(jié) ．．．．．．．． 135
7　機(jī)器學(xué)習(xí) 136
7．1　監(jiān)督、無(wú)監(jiān)督、半監(jiān)督學(xué)習(xí) ．．．．． 137
7．2　影片推薦： SVDPlusPlus．．．．．．．．．．． 139
7．2．1　公式解釋 ．．．．．．．．．．．．．．．．．．．．．．．．． 146
7．3　在MLlib中使用GraphX ．．．．．．．．．．．．．． 146
7．3．1　主題聚類：隱含狄利克雷分布 ．．．．．．．．．．．．．．．．．．．．．．．．．． 147
7．3．2　垃圾信息檢測(cè)： LogisticRegressionWithSGD ．．． 156
7．3．3　使用冪迭代聚類進(jìn)行圖像分割（計(jì)算機(jī)視覺(jué)） 160
7．4　窮人（簡(jiǎn)化版）的訓(xùn)練數(shù)據(jù)：基于圖的半監(jiān)督學(xué)習(xí) ．． 165
7．4．1　K近鄰圖構(gòu)建 ．．．．．．．．．．．．．．．．． 168
7．4．2　半監(jiān)督學(xué)習(xí)標(biāo)簽傳播算法 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 175
7．5　小結(jié) ．．．．．．．． 180
第3部分　更多內(nèi)容
8　缺失的算法 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 183
8．1　缺失的基本圖操作 ．．．．．．．．．．．．．．．．．．．．． 184
8．1．1　通用意義上的子圖 ．．．．．．．．． 184
8．1．2　圖合并 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 185
8．2　讀取RDF圖文件 ．．．．．．．．．．．．．．．．．．．．．．．．．． 189
8．2．1　頂點(diǎn)匹配以及圖構(gòu)建 ．．．．． 189
8．2．2　使用 IndexedRDD和 RDD HashMap來(lái)提升性能．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 191
8．3　窮人（簡(jiǎn)化版）的圖同構(gòu)：找到Wikipedia缺失的信息 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 197
8．4　全局聚類系數(shù)：連通性比較 ．．．．． 202
8．5　小結(jié) ．．．．．．．． 205
9　性能和監(jiān)控 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 207
9．1　監(jiān)控Spark應(yīng)用 ．．．．．．．．．．．．．．．．．．．．．．．．．．．． 208
9．1．1　Spark如何運(yùn)行應(yīng)用 ．．．．．． 208
9．1．2　用 Spark監(jiān)控來(lái)了解你的應(yīng)用的運(yùn)行時(shí)信息 ．． 211
9．1．3　history server ．．．．．．．．．．．．．．．．．．． 221
9．2　Spark配置 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 223
9．2．1　充分利用全部 CPU資源 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 226
9．3　Spark性能調(diào)優(yōu) ．．．．．．．．．．．．．．．．．．．．．．．．．．．． 227
9．3．1　用緩存和持久化來(lái)加速 Spark ．．．．．．．．．．．．．．．．．．．．．．．．．．． 227
9．3．2　checkpointing ．．．．．．．．．．．．．．．．．． 230
9．3．3　通過(guò)序列化降低內(nèi)存壓力 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 232
9．4　圖分區(qū) ．．．． 233
9．5　小結(jié) ．．．．．．．． 235
10　更多語(yǔ)言以及工具 ．．．．．．．．．．．．．．．．．．．． 237
10．1　在GraphX中使用除Scala外的其他語(yǔ)言 ．．．．．．．．．．．．．．．．．．．．．．． 238
10．1．1　在 GraphX中使用 Java 7 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 238
10．1．2　在 GraphX中使用 Java 8 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 245
10．1．3　未來(lái) GraphX是否會(huì)支持 Python或者 R ．．．．．． 245
10．2　其他可視化工具：Apache Zeppelin 和 d3．js ．．．．．．．．．．．．．．． 245
10．3　類似一個(gè)數(shù)據(jù)庫(kù)：Spark Job Server ．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 248
10．3．1　示例：查詢 Slashdot好友的分離程度 ．．．．．．．．．． 250
10．3．2　更多使用 Spark Job Server的例子 ．．．．．．．．．．．．．．．．． 253
10．4　通過(guò)GraphFrames在Spark的圖上使用SQL ．．．．．．．．．．．．．．．．．． 254
10．4．1　GraphFrames和 GraphX的互操作性 ．．．．．．．．．．．． 255
10．4．2　使用 SQL進(jìn)行便捷、高性能的操作．．．．．．．．．．．．． 257
10．4．3　使用 Cypher語(yǔ)言的子集來(lái)進(jìn)行頂點(diǎn)搜索 ．．．． 258
10．4．4　稍微復(fù)雜一些的 YAGO圖同構(gòu)搜索 ．．．．．．．．．．．．． 260
10．5　小結(jié) ．．．．．． 264
附錄A　安裝Spark ．．．．．．．．．．．．．．．．．．．．．．．．．．． 266
附錄B　Gephi可視化軟件 ．．．．．．．．．．．．．．．． 271
附錄C　更多資源 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 275
附錄D　本書中的Scala小貼士 ．．．．．．．．． 278