Hadoop大數(shù)據(jù)分析

第1部分 Hadoop核心基礎
第1章 Hadoop簡介 2
1.1 Hadoop產(chǎn)生背景 2
1.2 Hadoop簡要歷史 3
1.3 Hadoop生態(tài)系統(tǒng)組件 3
1.4 Hadoop版本和商用支持 5
1.5 Hadoop的基礎環(huán)境配置 6
1.6 Hadoop的安裝 7
1.7 Hadoop的配置 11
1.8 Hadoop的運行 14
小結(jié) 19
習題 19
第2章 HDFS文件系統(tǒng) 20
2.1 HDFS簡介 20
2.2 HDFS架構(gòu) 20
2.3 HDFS文件塊 21
2.4 HDFS常用操作 22
小結(jié) 24
習題 24
第3章 YARN資源管理 25
3.1 YARN架構(gòu) 25
3.2 YARN調(diào)度策略 26
3.3 YARN常用操作 28
小結(jié) 30
習題 31
第4章 MapReduce計算框架 32
4.1 MapReduce原理 32
4.2 MapReduce作業(yè)數(shù)據(jù)流 33
4.3 Hadoop流處理 35
4.4 MapReduce程序?qū)崿F(xiàn)詞頻
統(tǒng)計 35
4.5 MapReduce程序的Reducer
數(shù)量 40
4.6 MapReduce程序的Combiner 41
4.7 MapReduce程序?qū)崿F(xiàn)數(shù)據(jù)
連接 43
小結(jié) 49
習題 49
第2部分 Hive數(shù)據(jù)倉庫
第5章 Hive簡介 52
5.1 Hive概述 52
5.2 Hive的安裝 53
5.3 Hive的運行 56
小結(jié) 59
習題 59
第6章 Hive數(shù)據(jù)定義 60
6.1 數(shù)據(jù)庫操作 60
6.2 數(shù)據(jù)表基本操作 62
6.3 存儲格式和行格式 65
6.4 數(shù)據(jù)類型 67
6.5 外部表 70
6.6 分區(qū)表 72
小結(jié) 74
習題 74

第7章 Hive數(shù)據(jù)操作 75
7.1 數(shù)據(jù)導入 75
7.2 數(shù)據(jù)插入 78
7.3 數(shù)據(jù)導出 82
小結(jié) 84
習題 84
第8章 Hive數(shù)據(jù)查詢 85
8.1 基本查詢 85
8.2 數(shù)據(jù)聚合 87
8.3 數(shù)據(jù)連接 90
小結(jié) 92
習題 93
第3部分 Spark數(shù)據(jù)分析
第9章 Spark簡介 96
9.1 Spark概述 96
9.2 Spark原理 97
9.3 Spark的安裝 98
9.4 Spark運行方式 99
9.5 Spark運行位置 101
9.6 Spark運行參數(shù) 104
小結(jié) 104
習題 104
第10章 Spark大數(shù)據(jù)處理 105
10.1 數(shù)據(jù)框的創(chuàng)建 105
10.2 數(shù)據(jù)框的選擇 107
10.3 數(shù)據(jù)框的運算和聚合 110
10.4 數(shù)據(jù)框的增加、刪除
和修改 114
10.5 數(shù)據(jù)框的連接 116
10.6 數(shù)據(jù)框的變形 119
小結(jié) 120
習題 120
第11章 Spark機器學習流程 121
11.1 數(shù)據(jù)探索 122
11.2 數(shù)據(jù)劃分 123
11.3 數(shù)據(jù)填充 124
11.4 類別變量處理 125
11.5 特征選擇 128
11.6 建模與調(diào)優(yōu) 131
11.7 測試與評估 133
小結(jié) 135
習題 135
第12章 Spark有監(jiān)督學習模型 136
12.1 線性回歸模型 140
12.2 邏輯回歸模型 142
12.3 決策樹模型 145
12.4 隨機森林模型 152
12.5 神經(jīng)網(wǎng)絡 158
12.6 協(xié)同過濾 163
小結(jié) 166
習題 166
第13章 Spark無監(jiān)督學習模型 167
13.1 k均值聚類模型 168
13.2 主成分分析模型 172
13.3 關聯(lián)分析模型 173
小結(jié) 176
習題 176