123,123

內(nèi)容簡(jiǎn)介

　　本書(shū)運(yùn)用Spark計(jì)算框架的核心組件對(duì)電商數(shù)據(jù)進(jìn)行分析，以項(xiàng)目形式呈現(xiàn)，其內(nèi)容涵蓋環(huán)境搭建、數(shù)據(jù)分析、數(shù)據(jù)持久化和數(shù)據(jù)可視化，涉及JavaEE、ECharts、Hadoop、HBase、Spark、Kafka和ZooKeeper等技術(shù)點(diǎn)的綜合應(yīng)用。針對(duì)項(xiàng)目開(kāi)發(fā)過(guò)程的每個(gè)環(huán)節(jié)都進(jìn)行了深入講解，使讀者由淺入深地了解每個(gè)環(huán)節(jié)的知識(shí)內(nèi)容。本書(shū)共分為7章。第1章主要介紹項(xiàng)目開(kāi)發(fā)的基本情況；第2章主要介紹大數(shù)據(jù)集群環(huán)境的搭建；第3章主要介紹通過(guò)Spark實(shí)現(xiàn)熱門(mén)品類(lèi)Top10分析，并對(duì)分析結(jié)果進(jìn)行持久化操作；第4章主要介紹通過(guò)Spark實(shí)現(xiàn)各區(qū)域熱門(mén)商品Top3分析，并對(duì)分析結(jié)果進(jìn)行持久化操作；第5章主要介紹通過(guò)Spark SQL實(shí)現(xiàn)網(wǎng)站轉(zhuǎn)化率統(tǒng)計(jì)，并對(duì)分析結(jié)果進(jìn)行持久化操作；第6章主要介紹通過(guò)Spark Streaming實(shí)現(xiàn)廣告點(diǎn)擊流實(shí)時(shí)統(tǒng)計(jì)，并實(shí)時(shí)持久化統(tǒng)計(jì)結(jié)果；第7章主要介紹通過(guò)可視化技術(shù)將第3~6章的分析與統(tǒng)計(jì)結(jié)果進(jìn)行圖形化展示。本書(shū)配有視頻、源代碼、教學(xué)設(shè)計(jì)、教學(xué)PPT、教學(xué)大綱等資源。同時(shí)，為了幫助初學(xué)者更好地學(xué)習(xí)書(shū)中的內(nèi)容，還提供了在線(xiàn)答疑，歡迎讀者關(guān)注。本書(shū)適合擁有Spark基礎(chǔ)的讀者閱讀，也可以作為高等院校相關(guān)課程的教學(xué)參考書(shū)。讀者不僅能夠通過(guò)項(xiàng)目實(shí)戰(zhàn)鞏固基礎(chǔ)知識(shí)的學(xué)習(xí)效果，還能學(xué)習(xí)商業(yè)智能系統(tǒng)的開(kāi)發(fā)過(guò)程。

作者簡(jiǎn)介

　　江蘇傳智播客教育科技股份有限公司（簡(jiǎn)稱(chēng)傳智播客）是一家致力于培養(yǎng)高素質(zhì)軟件開(kāi)發(fā)人才的科技公司，“黑馬程序員”是傳智播客旗下高端IT教育品牌。

圖書(shū)目錄

第1章項(xiàng)目概述1
1.1項(xiàng)目需求和目標(biāo)1
1.2預(yù)備知識(shí)2
1.3項(xiàng)目架構(gòu)設(shè)計(jì)及技術(shù)選取2
1.4開(kāi)發(fā)環(huán)境和開(kāi)發(fā)工具介紹3
1.5項(xiàng)目開(kāi)發(fā)流程4
1.6硬件要求5
1.7本章小結(jié)6
第2章搭建大數(shù)據(jù)集群環(huán)境7
2.1安裝準(zhǔn)備7
2.1.1認(rèn)識(shí)Linux操作系統(tǒng) 7
2.1.2創(chuàng)建虛擬機(jī)8
2.1.3啟動(dòng)虛擬機(jī)并安裝Linux操作
系統(tǒng)14
2.1.4克隆虛擬機(jī)22
2.1.5配置Linux操作系統(tǒng)網(wǎng)絡(luò)及主
機(jī)名25
2.1.6SSH配置29
2.1.7配置時(shí)間同步36
2.2安裝JDK41
2.3ZooKeeper集群部署42
2.3.1ZooKeeper集群的安裝與配置…42
2.3.2ZooKeeper集群的啟動(dòng)與關(guān)閉…44
2.4Hadoop集群部署46
2.4.1Hadoop高可用集群規(guī)劃46
2.4.2安裝Hadoop47
2.4.3Hadoop高可用集群配置48
2.4.4啟動(dòng)Hadoop高可用集群55
2.5Spark集群部署60
2.5.1Spark集群部署模式60
2.5.2Spark集群安裝配置61
2.5.3Spark集群測(cè)試62
2.6HBase集群部署64
2.6.1HBase集群規(guī)劃64
2.6.2HBase集群安裝配置65
2.6.3啟動(dòng)HBase集群67
2.7Kafka集群部署69
2.7.1Kafka集群的安裝與配置69
2.7.2啟動(dòng)Kafka集群70
2.8本章小結(jié)72
第3章熱門(mén)品類(lèi)Top10分析73
3.1數(shù)據(jù)集分析73
3.2實(shí)現(xiàn)思路分析74
3.3實(shí)現(xiàn)熱門(mén)品類(lèi)Top1075
3.3.1創(chuàng)建項(xiàng)目75
3.3.2創(chuàng)建Spark連接并讀取數(shù)據(jù)集81
3.3.3獲取業(yè)務(wù)數(shù)據(jù)82
3.3.4統(tǒng)計(jì)品類(lèi)的行為類(lèi)型83
3.3.5過(guò)濾品類(lèi)的行為類(lèi)型83
3.3.6合并相同品類(lèi)的行為類(lèi)型85
3.3.7根據(jù)品類(lèi)的行為類(lèi)型進(jìn)行排序85
3.3.8數(shù)據(jù)持久化87
3.4運(yùn)行程序92
3.5本章小結(jié)97
第4章各區(qū)域熱門(mén)商品Top3分析98
4.1實(shí)現(xiàn)思路分析98
4.2實(shí)現(xiàn)各區(qū)域熱門(mén)商品Top399
4.2.1創(chuàng)建Spark連接并讀取數(shù)據(jù)集99
4.2.2獲取業(yè)務(wù)數(shù)據(jù)100
4.2.3過(guò)濾商品的行為類(lèi)型100
4.2.4轉(zhuǎn)換數(shù)據(jù)格式101
4.2.5統(tǒng)計(jì)每個(gè)區(qū)域中的不同商品101
4.2.6根據(jù)區(qū)域進(jìn)行分組102
4.2.7根據(jù)區(qū)域內(nèi)商品的查看次數(shù)進(jìn)行排序102
4.2.8數(shù)據(jù)持久化103
4.3運(yùn)行程序106
4.4本章小結(jié)108
目錄Spark項(xiàng)目實(shí)戰(zhàn)第5章網(wǎng)站轉(zhuǎn)化率統(tǒng)計(jì)109
5.1數(shù)據(jù)集分析109
5.2實(shí)現(xiàn)思路分析110
5.3實(shí)現(xiàn)網(wǎng)站轉(zhuǎn)化率統(tǒng)計(jì)111
5.3.1生成用戶(hù)瀏覽網(wǎng)頁(yè)數(shù)據(jù)111
5.3.2修改pom.xml文件112
5.3.3創(chuàng)建Spark連接并讀取數(shù)據(jù)集113
5.3.4統(tǒng)計(jì)每個(gè)頁(yè)面訪問(wèn)次數(shù)114
5.3.5獲取每個(gè)用戶(hù)瀏覽網(wǎng)頁(yè)的順序114
5.3.6合并同一用戶(hù)瀏覽的網(wǎng)頁(yè)114
5.3.7統(tǒng)計(jì)每個(gè)單跳的次數(shù)115
5.3.8計(jì)算頁(yè)面單跳轉(zhuǎn)化率116
5.3.9數(shù)據(jù)持久化117
5.4運(yùn)行程序118
5.5本章小結(jié)121
第6章廣告點(diǎn)擊流實(shí)時(shí)統(tǒng)計(jì)122
6.1數(shù)據(jù)集分析122
6.2實(shí)現(xiàn)思路分析123
6.3數(shù)據(jù)庫(kù)設(shè)計(jì)124
6.4實(shí)現(xiàn)廣告點(diǎn)擊流實(shí)時(shí)統(tǒng)計(jì)125
6.4.1修改pom.xml文件125
6.4.2生產(chǎn)用戶(hù)廣告點(diǎn)擊流數(shù)據(jù)125
6.4.3創(chuàng)建Spark Streaming連接128
6.4.4讀取用戶(hù)廣告點(diǎn)擊流數(shù)據(jù)129
6.4.5獲取業(yè)務(wù)數(shù)據(jù)129
6.4.6讀取黑名單用戶(hù)數(shù)據(jù)130
6.4.7過(guò)濾黑名單用戶(hù)131
6.4.8統(tǒng)計(jì)每個(gè)城市不同廣告的點(diǎn)擊次數(shù)132
6.4.9添加黑名單用戶(hù)133
6.4.10數(shù)據(jù)持久化134
6.5運(yùn)行程序135
6.6本章小結(jié)137
第7章數(shù)據(jù)可視化138
7.1系統(tǒng)概述138
7.1.1技術(shù)選取138
7.1.2系統(tǒng)架構(gòu)139
7.2數(shù)據(jù)表設(shè)計(jì)與實(shí)現(xiàn)141
7.2.1數(shù)據(jù)表介紹141
7.2.2Phoenix集成HBase142
7.2.3建立Phoenix與HBase表映射143
7.3創(chuàng)建Spring Boot項(xiàng)目147
7.4實(shí)現(xiàn)熱門(mén)品類(lèi)Top10數(shù)據(jù)可視化152
7.4.1創(chuàng)建實(shí)體類(lèi)Top10Entity152
7.4.2創(chuàng)建數(shù)據(jù)庫(kù)訪問(wèn)接口Top10Dao153
7.4.3創(chuàng)建控制器類(lèi)Top10Controller153
7.4.4創(chuàng)建HTML文件top10.html154
7.4.5運(yùn)行項(xiàng)目實(shí)現(xiàn)熱門(mén)品類(lèi)Top10數(shù)據(jù)可視化157
7.5實(shí)現(xiàn)各區(qū)域熱門(mén)商品Top3數(shù)據(jù)可視化160
7.5.1創(chuàng)建實(shí)體類(lèi)Top3Entity160
7.5.2創(chuàng)建數(shù)據(jù)庫(kù)訪問(wèn)接口Top3Dao160
7.5.3創(chuàng)建控制器類(lèi)Top3Controller161
7.5.4創(chuàng)建HTML文件top3.html162
7.5.5運(yùn)行項(xiàng)目實(shí)現(xiàn)各區(qū)域熱門(mén)商品Top3數(shù)據(jù)可視化164
7.6實(shí)現(xiàn)頁(yè)面單跳轉(zhuǎn)化率數(shù)據(jù)可視化165
7.6.1創(chuàng)建實(shí)體類(lèi)ConversionEntity165
7.6.2創(chuàng)建數(shù)據(jù)庫(kù)訪問(wèn)接口ConversionDao165
7.6.3創(chuàng)建控制器類(lèi)ConversionController166
7.6.4創(chuàng)建HTML文件conversion.html166
7.6.5運(yùn)行項(xiàng)目實(shí)現(xiàn)頁(yè)面單跳轉(zhuǎn)化率數(shù)據(jù)可視化169
7.7實(shí)現(xiàn)廣告點(diǎn)擊流實(shí)時(shí)統(tǒng)計(jì)可視化169
7.7.1創(chuàng)建實(shí)體類(lèi)AdsEntity169
7.7.2創(chuàng)建數(shù)據(jù)庫(kù)訪問(wèn)接口AdsDao170
7.7.3創(chuàng)建控制器類(lèi)AdsController170
7.7.4創(chuàng)建HTML文件ads.html171
7.7.5運(yùn)行項(xiàng)目實(shí)現(xiàn)廣告點(diǎn)擊流實(shí)時(shí)統(tǒng)計(jì)可視化173
7.8本章小結(jié)174