大數(shù)據(jù)實驗手冊

目 錄
實驗一 大數(shù)據(jù)實驗一體機(jī)基礎(chǔ)操作 1
1．1 實驗?zāi)康?1
1．2 實驗要求 1
1．3 實驗原理 1
1．4 實驗步驟 9
實驗二 HDFS實驗：部署HDFS 17
2．1 實驗?zāi)康?17
2．2 實驗要求 17
2．3 實驗原理 17
2．4 實驗步驟 19
實驗三 HDFS實驗：讀寫HDFS文件 21
3．1 實驗?zāi)康?21
3．2 實驗要求 21
3．3 實驗原理 21
3．4 實驗步驟 23
實驗四 YARN實驗：部署YARN集群 31
4．1 實驗?zāi)康?31
4．2 實驗要求 31
4．3 實驗原理 31
4．4 實驗步驟 33
4．5 實驗結(jié)果 35
實驗五 MapReduce實驗：單詞計數(shù) 37
5．1 實驗?zāi)康?37
5．2 實驗要求 37
5．3 實驗原理 37
5．4 實驗步驟 39
5．5 實驗結(jié)果 41
實驗六 MapReduce實驗：二次排序 43
6．1 實驗?zāi)康?43
6．2 實驗要求 43
6．3 實驗原理 43
6．4 實驗步驟 43
6．5 實驗結(jié)果 48
實驗七 MapReduce實驗：計數(shù)器 49
7．1 實驗?zāi)康?49
7．2 實驗要求 49
7．3 實驗背景 49
7．4 實驗步驟 51
7．5 實驗結(jié)果 53
實驗八 MapReduce實驗：Join操作 55
8．1 實驗?zāi)康?55
8．2 實驗要求 55
8．3 實驗背景 55
8．4 實驗步驟 56
8．5 實驗結(jié)果 61
實驗九 MapReduce實驗：分布式緩存 63
9．1 實驗?zāi)康?63
9．2 實驗要求 63
9．3 實驗步驟 63
9．4 實驗結(jié)果 68
實驗十 Hive實驗：部署Hive 69
10．1 實驗?zāi)康?69
10．2 實驗要求 69
10．3 實驗原理 69
10．4 實驗步驟 70
10．5 實驗結(jié)果 71
實驗十一 Hive實驗：新建Hive表 73
11．1 實驗?zāi)康?73
11．2 實驗要求 73
11．3 實驗原理 73
11．4 實驗步驟 73
11．5 實驗結(jié)果 75
實驗十二 Hive實驗：Hive分區(qū) 77
12．1 實驗?zāi)康?77
12．2 實驗要求 77
12．3 實驗原理 77
12．4 實驗步驟 77
12．5 實驗結(jié)果 79
實驗十三 Spark實驗：部署Spark集群 80
13．1 實驗?zāi)康?80
13．2 實驗要求 80
13．3 實驗原理 80
13．4 實驗內(nèi)容和步驟 81
13．5 實驗結(jié)果 83
實驗十四 Spark實驗：SparkWordCount 85
14．1 實驗?zāi)康?85
14．2 實驗要求 85
14．3 實驗原理 85
14．4 實驗步驟 89
14．5 實驗結(jié)果 89
實驗十五 Spark實驗：RDD綜合實驗 90
15．1 實驗?zāi)康?90
15．2 實驗要求 90
15．3 實驗原理 90
15．4 實驗步驟 91
15．5 實驗結(jié)果 93
實驗十六 Spark實驗：Spark綜例 94
16．1 實驗?zāi)康?94
16．2 實驗要求 94
16．3 實驗原理 94
16．4 實驗步驟 96
實驗十七 Spark實驗：Spark SQL 99
17．1 實驗?zāi)康?99
17．2 實驗要求 99
17．3 實驗原理 99
17．4 實驗步驟 100
17．5 實驗結(jié)果 101
實驗十八 Spark實驗：Spark Streaming 103
18．1 實驗?zāi)康?103
18．2 實驗要求 103
18．3 實驗原理 103
18．4 實驗步驟 107
18．5 實驗結(jié)果 110
實驗十九 Spark實驗：GraphX 111
19．1 實驗?zāi)康?111
19．2 實驗要求 111
19．3 實驗原理 111
19．4 實驗步驟 111
19．5 實驗結(jié)果 116
實驗二十 部署ZooKeeper 117
20．1 實驗?zāi)康?117
20．2 實驗要求 117
20．3 實驗原理 117
20．4 實驗步驟 117
20．5 實驗結(jié)果 119
實驗二十一 ZooKeeper進(jìn)程協(xié)作 121
21．1 實驗?zāi)康?121
21．2 實驗要求 121
21．3 實驗原理 121
21．4 實驗步驟 121
21．5 實驗結(jié)果 123
實驗二十二 部署HBase 124
22．1 實驗?zāi)康?124
22．2 實驗要求 124
22．3 實驗原理 124
22．4 實驗步驟 125
22．5 實驗結(jié)果 127
實驗二十三 新建HBase表 128
23．1 實驗?zāi)康?128
23．2 實驗要求 128
23．3 實驗原理 128
23．4 實驗步驟 128
23．5 實驗結(jié)果 133
實驗二十四 部署Storm 135
24．1 實驗?zāi)康?135
24．2 實驗要求 135
24．3 實驗原理 135
24．4 實驗步驟 136
24．5 實驗結(jié)果 138
實驗二十五 實時WordCountTopology 139
25．1 實驗?zāi)康?139
25．2 實驗要求 139
25．3 實驗原理 139
25．4 實驗步驟 141
25．5 實驗結(jié)果 144
實驗二十六 文件數(shù)據(jù)Flume至HDFS 145
26．1 實驗?zāi)康?145
26．2 實驗要求 145
26．3 實驗原理 145
26．4 實驗步驟 147
26．5 實驗結(jié)果 149
實驗二十七 Kafka訂閱推送示例 150
27．1 實驗?zāi)康?150
27．2 實驗要求 150
27．3 實驗原理 150
27．4 實驗步驟 152
27．5 實驗結(jié)果 154
實驗二十八 Pig版WordCount 155
28．1 實驗?zāi)康?155
28．2 實驗要求 155
28．3 實驗原理 155
28．4 實驗步驟 156
28．5 實驗結(jié)果 158
實驗二十九 Redis部署與簡單使用 160
29．1 實驗?zāi)康?160
29．2 實驗要求 160
29．3 實驗原理 160
29．4 實驗步驟 162
29．5 實驗結(jié)果 163
實驗三十 MapReduce與Spark讀寫Redis 164
30．1 實驗?zāi)康?164
30．2 實驗要求 164
30．3 實驗原理 164
30．4 實驗步驟 165
30．5 實驗結(jié)果 170
實驗三十一 MongoDB實驗：讀寫MongoDB 172
31．1 實驗?zāi)康?172
31．2 實驗要求 172
31．3 實驗原理 172
31．4 實驗步驟 173
31．5 實驗結(jié)果 177
實驗三十二 LevelDB實驗：讀寫LevelDB 178
32．1 實驗?zāi)康?178
32．2 實驗要求 178
32．3 實驗原理 178
32．4 實驗步驟 181
32．5 實驗結(jié)果 183
實驗三十三 Mahout實驗：K-Means 184
33．1 實驗?zāi)康?184
33．2 實驗要求 184
33．3 實驗原理 184
33．4 實驗步驟 187
33．5 實驗結(jié)果 188
實驗三十四 使用Spark實現(xiàn)K-Means 189
34．1 實驗?zāi)康?189
34．2 實驗要求 189
34．3 實驗原理 189
34．4 實驗步驟 189
34．5 實驗結(jié)果 191
實驗三十五 使用Spark實現(xiàn)SVM 192
35．1 實驗?zāi)康?192
35．2 實驗要求 192
35．3 實驗原理 192
35．4 實驗步驟 194
35．5 實驗結(jié)果 195
實驗三十六 使用Spark實現(xiàn)FP-Growth 197
36．1 實驗?zāi)康?197
36．2 實驗要求 197
36．3 實驗原理 197
36．4 實驗步驟 199
36．5 實驗結(jié)果 200
實驗三十七 綜合實戰(zhàn)：車牌識別 202
37．1 實驗?zāi)康?202
37．2 實驗要求 202
37．3 實驗步驟 202
37．4 實驗結(jié)果 209
實驗三十八 綜合實戰(zhàn)：搜索引擎 211
38．1 實驗?zāi)康?211
38．2 實驗要求 211
38．3 實驗步驟 211
38．4 實驗結(jié)果 236
實驗三十九 綜合實戰(zhàn)：推薦系統(tǒng) 239
39．1 實驗?zāi)康?239
39．2 實驗要求 239
39．3 實驗步驟 239
39．4 實驗結(jié)果 245
實驗四十 綜合實戰(zhàn)：環(huán)境大數(shù)據(jù) 247
40．1 實驗?zāi)康?247
40．2 實驗要求 247
40．3 實驗原理 247
40．4 實驗步驟 247
實驗四十一 綜合實戰(zhàn)：智能硬件大數(shù)據(jù)托管 259
41．1 實驗?zāi)康?259
41．2 實驗要求 259
41．3 實驗原理 259
41．4 實驗步驟 261
41．5 實驗結(jié)果 266
實驗四十二 綜合實戰(zhàn)：貸款風(fēng)險評估 268
42．1 實驗?zāi)康?268
42．2 實驗要求 268
42．3 實驗原理 268
42．4 實驗相關(guān) 269
42．5 實驗結(jié)果 275