大數(shù)據(jù)分析及應(yīng)用項目教程（Spark SQL）

第 1 章 大數(shù)據(jù)分析概述 ..........................................................................................1
任務(wù) 1.1 關(guān)于大數(shù)據(jù)分析............................................................................................. 1
情境導(dǎo)入 ........................................................................................................ 1
學(xué)習(xí)目標(biāo)和要求 ............................................................................................ 1
1.1.1 什么是大數(shù)據(jù)分析 ............................................................................ 2
1.1.2 大數(shù)據(jù)分析工具 ................................................................................ 5
1.1.3 大數(shù)據(jù)分析可視化 ............................................................................ 8
任務(wù) 1.2 認(rèn)識 Spark SQL ............................................................................................. 8
情境導(dǎo)入 ........................................................................................................ 8
學(xué)習(xí)目標(biāo)和要求 ............................................................................................ 8
1.2.1 Spark SQL 的背景簡介 ..................................................................... 9
1.2.2 Spark SQL 的運行原理 ................................................................... 10
腦圖小結(jié)......................................................................................................................... 14
章節(jié)練習(xí)......................................................................................................................... 16
第 2 章 實踐環(huán)境準(zhǔn)備 ...........................................................................................17
任務(wù) 2.1 Hadoop 集群環(huán)境搭建 ................................................................................. 17
情境導(dǎo)入 ...................................................................................................... 17
學(xué)習(xí)目標(biāo)和要求 .......................................................................................... 18
2.1.1 環(huán)境準(zhǔn)備 .......................................................................................... 18
2.1.2 安裝 Hadoop..................................................................................... 35
2.1.3 啟動 Hadoop 集群............................................................................ 45
2.1.4 運行經(jīng)典案例 wordcount ................................................................ 48
任務(wù) 2.2 Spark 集群部署與使用 ................................................................................ 50
情境導(dǎo)入 ...................................................................................................... 50
學(xué)習(xí)目標(biāo)和要求 .......................................................................................... 50
2.2.1 安裝 Spark ........................................................................................ 50
2.2.2 啟動 Spark ........................................................................................ 54
2.2.3 Spark 集群測試 ................................................................................ 56
任務(wù) 2.3 安裝 Scala ..................................................................................................... 60
情境導(dǎo)入 ...................................................................................................... 60
學(xué)習(xí)目標(biāo)和要求 .......................................................................................... 60
2.3.1 下載 Scala 安裝包............................................................................ 61
2.3.2 Scala 安裝配置................................................................................. 61
腦圖小結(jié)......................................................................................................................... 62
章節(jié)練習(xí)......................................................................................................................... 63
第 3 章 學(xué)生信息處理分析 ....................................................................................65
任務(wù) 3.1 班級基本情況分析....................................................................................... 66
情境導(dǎo)入 ...................................................................................................... 66
學(xué)習(xí)目標(biāo)和要求 .......................................................................................... 66
3.1.1 學(xué)生所屬班級和男女生數(shù)量 .......................................................... 67
3.1.2 以班級為單位整理學(xué)生信息 .......................................................... 84
任務(wù) 3.2 學(xué)生基本情況分析....................................................................................... 96
情境導(dǎo)入 ...................................................................................................... 96
學(xué)習(xí)目標(biāo)和要求 .......................................................................................... 96
3.2.1 學(xué)生特長情況分析 .......................................................................... 96
3.2.2 學(xué)生成績情況分析 ........................................................................ 102
腦圖小結(jié)....................................................................................................................... 105
章節(jié)練習(xí)....................................................................................................................... 106
第 4 章 房產(chǎn)大數(shù)據(jù)分析與探索 ...........................................................................108
任務(wù) 4.1 某房產(chǎn)公司銷售人員業(yè)績分析............................................................... 108
情境導(dǎo)入 .................................................................................................... 108
學(xué)習(xí)目標(biāo)和要求 ........................................................................................ 110
4.1.1 數(shù)據(jù)集處理 .................................................................................... 110
4.1.2 數(shù)據(jù)操作分析 ................................................................................ 116
任務(wù) 4.2 某城市近年房產(chǎn)銷售狀況分析................................................................. 131
情境導(dǎo)入 .................................................................................................... 131
學(xué)習(xí)目標(biāo)和要求 ........................................................................................ 132
4.2.1 數(shù)據(jù)準(zhǔn)備 ........................................................................................ 132
4.2.2 數(shù)據(jù)探索與分析 ............................................................................ 134
4.2.3 總結(jié)分析 ........................................................................................ 139
腦圖小結(jié)....................................................................................................................... 139
章節(jié)練習(xí)....................................................................................................................... 140
第 5 章 電商大數(shù)據(jù)分析與索 ...........................................................................141
任務(wù) 5.1 “女裝電子商務(wù)評論”數(shù)據(jù)分析........................................................ 141
情境導(dǎo)入 .................................................................................................... 141
學(xué)習(xí)目標(biāo)和要求 ........................................................................................ 142
5.1.1 數(shù)據(jù)準(zhǔn)備 ..................................................................................... 142
5.1.2 數(shù)據(jù)清洗 ..................................................................................... 152
5.1.3 數(shù)據(jù)轉(zhuǎn)換 ..................................................................................... 157
5.1.4 數(shù)據(jù)分析 ........................................................................................ 162
5.1.5 數(shù)據(jù)輸出 ........................................................................................ 171
任務(wù) 5.2 “在線銷售訂單”數(shù)據(jù)分析..................................................................... 173
情境導(dǎo)入 .................................................................................................... 173
學(xué)習(xí)目標(biāo)和要求 ........................................................................................ 174
5.2.1 數(shù)據(jù)查詢操作 ................................................................................ 174
5.2.2 數(shù)據(jù)分析探索 ................................................................................ 184
腦圖小結(jié)....................................................................................................................... 191
章節(jié)練習(xí)....................................................................................................................... 192
第 6 章 Zeppelin 數(shù)據(jù)可視化 ............................................................................193
任務(wù) 6.1 Zeppelin 安裝與部署.................................................................................. 193
情境導(dǎo)入 .................................................................................................... 193
學(xué)習(xí)目標(biāo)和要求 ........................................................................................ 193
6.1.1 下載安裝包 .................................................................................... 194
6.1.2 安裝配置 ........................................................................................ 195
6.1.3 測試運行 Zeppelin ......................................................................... 199
任務(wù) 6.2 “女裝電子商務(wù)評論”數(shù)據(jù)可視化......................................................... 203
情境導(dǎo)入 .................................................................................................... 203
學(xué)習(xí)目標(biāo)和要求 ........................................................................................ 204
6.2.1 加載數(shù)據(jù)注冊視圖 ........................................................................ 204
6.2.2 執(zhí)行 SQL 數(shù)據(jù)可視化................................................................... 208
任務(wù) 6.3 “在線銷售訂單”數(shù)據(jù)可視化................................................................. 212
情境導(dǎo)入 .................................................................................................... 212
學(xué)習(xí)目標(biāo)和要求 ........................................................................................ 213
執(zhí)行 Spark SQL 數(shù)據(jù)可視化 .................................................................... 213
腦圖小結(jié)....................................................................................................................... 216
章節(jié)練習(xí)....................................................................................................................... 216