Hadoop大數(shù)據(jù)開發(fā)案例教程與項目實戰(zhàn)（在線實驗+在線自測）

定　價：￥49.80

作　者：	西普教育研究院，時允田，林雪綱著
出版社：	人民郵電出版社
叢編項：
標　簽：	暫缺

購買這本書可以去

ISBN：	9787115453600	出版時間：	2017-05-01	包裝：	平裝
開本：	16開	頁數(shù)：	284	字數(shù)：

內(nèi)容簡介

　　本書是一本Hadoop學(xué)習(xí)入門參考書，全書共11章，分為基礎(chǔ)篇和提高篇兩部分?；A(chǔ)篇包括第1~6章，具體包括Hadoop概述、Hadoop基礎(chǔ)環(huán)境配置、分布式存儲HDFS、計算系統(tǒng)MapReduce、計算模型Yarn、數(shù)據(jù)云盤。提高篇包括第7~11章，具體包括協(xié)調(diào)系統(tǒng)Zookeeper、Hadoop數(shù)據(jù)庫Hbase、Hadoop數(shù)據(jù)倉庫Hive、Hadoop數(shù)據(jù)采集Flume、OTA離線數(shù)據(jù)分析平臺。全書內(nèi)容結(jié)構(gòu)合理，知識點全面，講解詳細，重點難點突出。本書適合作為院校計算機及相關(guān)專業(yè)大數(shù)據(jù)課程的教材，也可供學(xué)習(xí)者自學(xué)參考。

作者簡介

　　時允田，IT教育培訓(xùn)高級講師，現(xiàn)任西普教育教研部經(jīng)理。先后就職清華同方、SK、森縱艾德、八維教育和西普教育等機構(gòu)，擔任中北大學(xué)、南京大學(xué)、大連理工軟件學(xué)院等多所高校外聘企業(yè)講師。擁有十余年的IT從業(yè)和教育培訓(xùn)經(jīng)驗，精通Java、Android、HTML5、大數(shù)據(jù)等技術(shù)。林雪綱，博士，CCF理事，現(xiàn)任北京西普陽光教育科技股份有限公司常務(wù)副總裁。十余年信息安全及教育培訓(xùn)行業(yè)經(jīng)驗，具有豐富的信息安全和數(shù)據(jù)領(lǐng)域大型項目咨詢、管理及教學(xué)培訓(xùn)經(jīng)驗。精通網(wǎng)絡(luò)安全、安全架構(gòu)及技術(shù)管理、大數(shù)據(jù)分析，領(lǐng)導(dǎo)參與多個安全平臺研發(fā)、數(shù)字城市解決方案、移動互聯(lián)網(wǎng)平臺開發(fā)項目。

圖書目錄

基礎(chǔ)篇
第1章　Hadoop概述　1
1．1　Hadoop簡介　1
1．2　Hadoop相關(guān)項目　2
1．3　Hadoop來源　3
1．4　Hadoop的發(fā)展史　4
1．5　Hadoop特點　5
1．6　Hadoop體系架構(gòu)　6
1．6．1　HDFS體系結(jié)構(gòu)　7
1．6．2　MapReduce體系結(jié)構(gòu)　7
本章小結(jié)　8
習(xí)題　8
第2章　Hadoop基礎(chǔ)環(huán)境配置　9
2．1　準備Linux環(huán)境　9
2．1．1　安裝VMware12虛擬機　9
2．1．2　部署CentOS 64位操作系統(tǒng)　11
2．2　Linux配置　16
2．2．1　什么是Linux　16
2．2．2　Linux發(fā)行版　16
2．2．3　配置網(wǎng)絡(luò)　16
2．2．4　Linux終端　17
2．3　Hadoop環(huán)境搭建　21
2．3．1　JDK安裝和測試　21
2．3．2　Hadoop安裝和配置　25
2．3．3　SSH免密碼配置　31
本章小結(jié)　33
習(xí)題　34
第3章　分布式存儲HDFS　35
3．1　HDFS概念　35
3．1．1　HDFS簡介　35
3．1．2　HDFS設(shè)計思路和理念　35
3．2　HDFS體系結(jié)構(gòu)　36
3．3　HDFS文件存儲機制　36
3．4　HDFS Shell介紹　39
3．4．1　命令格式　39
3．4．2　HDFS用戶命令　40
3．4．3　HDFS管理員命令　40
3．5　Hadoop項目創(chuàng)建　47
3．6　RPC通信原理　53
3．6．1　什么是Hadoop的RPC　53
3．6．2　RPC采用的模式　53
3．7　分布式文件系統(tǒng)操作類　59
本章小結(jié)　69
習(xí)題　69
第4章　計算系統(tǒng)MapReduce　70
4．1　MapReduce概念　70
4．1．1　MapReduce簡介　70
4．1．2　MapReduce 數(shù)據(jù)類型與格式　71
4．1．3　數(shù)據(jù)類型Writable接口　71
4．1．4　Hadoop序列化機制　72
4．2　MapReduce架構(gòu)　72
4．2．1　數(shù)據(jù)分片　72
4．2．2　MapReduce執(zhí)行過程　73
4．2．3　Mapper執(zhí)行過程　73
4．2．4　Reducer執(zhí)行過程　74
4．2．5　Shuffle過程　75
4．3　第一個MapReduce案例　75
4．4　MapReduce接口類　79
4．4．1　MapReduce輸入的處理類　79
4．4．2　MapReduce輸出的處理類　80
本章小結(jié)　87
習(xí)題　87
第5章　計算模型Yarn　88
5．1　Yarn概述　88
5．1．1　Yarn簡介　88
5．1．2　Yarn的組成　89
5．2　Yarn的執(zhí)行過程　89
5．3　新舊MapReduce的對比　90
本章小結(jié)　101
習(xí)題　101
第6章　數(shù)據(jù)云盤　102
6．1　項目概述　102
6．2　功能需求　102
6．3　軟件開發(fā)需求　102
6．4　效果展示　103
6．5　系統(tǒng)開發(fā)　104
本章小結(jié)　125
習(xí)題　125
提高篇
第7章　協(xié)調(diào)系統(tǒng)Zookeeper　126
7．1　Zookeeper概述　126
7．1．1　Zookeeper簡介　126
7．1．2　Zookeeper數(shù)據(jù)模型　127
7．1．3　Zookeeper特征　127
7．1．4　Zookeeper工作原理　128
7．2　Zookeeper術(shù)語　129
7．2．1　節(jié)點　129
7．2．2　角色　129
7．2．3　順序號　129
7．2．4　觀察　129
7．2．5　Leader選舉　129
7．3　事件　130
7．4　Zookeeper Shell操作　130
7．4．1　Zookeeper服務(wù)命令　130
7．4．2　Zookeeper客戶端命令　134
7．5　Zookeeper API操作　137
本章小結(jié)　156
習(xí)題　156
第8章　Hadoop數(shù)據(jù)庫Hbase　157
8．1　Hbase概述　157
8．1．1　Hbase簡介　157
8．1．2　Hbase優(yōu)勢和特點　158
8．1．3　Hbase專業(yè)術(shù)語　158
8．2　Hbase架構(gòu)　158
8．2．1　角色　159
8．2．2　Hbase物理存儲和邏輯視圖　160
8．3　Hbase Shell操作　163
8．4　Hbase API操作　168
8．5　Hbase 過濾器　182
8．5．1　過濾器的含義　182
8．5．2　過濾器的比較操作符　182
8．5．3　過濾器的比較器　183
本章小結(jié)　193
習(xí)題　193
第9章　Hadoop數(shù)據(jù)倉庫Hive　194
9．1　Hive概述　194
9．1．1　Hive簡介　194
9．1．2　Hive數(shù)據(jù)類型　194
9．1．3　Hive Metastore　195
9．1．4　Hive存儲和壓縮　195
9．1．5　Hive與傳統(tǒng)數(shù)據(jù)庫對比　195
9．2　Hive的系統(tǒng)架構(gòu)　196
9．3　Hive的數(shù)據(jù)模型　200
9．3．1　內(nèi)部表　200
9．3．2　外部表　200
9．3．3　分區(qū)表　201
9．3．4　桶表　201
9．4　Hive Shell操作　201
9．5　Hive API操作　208
9．6　Hive內(nèi)置函數(shù)和UDF　215
9．6．1　內(nèi)置函數(shù)　215
9．6．2　UDF函數(shù)　215
本章小結(jié)　222
習(xí)題　222
第10章　Hadoop數(shù)據(jù)采集Flume　223
10．1　Flume概述　223
10．1．1　Flume簡介　223
10．1．2　Flume核心概念　223
10．1．3　Flume 系統(tǒng)要求　224
10．2　Flume架構(gòu)　224
10．3　Flume常見操作命令　225
10．4　Flume環(huán)境搭建　226
10．4．1　設(shè)置一個Agent　226
10．4．2　啟動Agent　226
本章小結(jié)　231
習(xí)題　231
第11章　OTA離線數(shù)據(jù)分析平臺　232
11．1　項目概述　232
11．2　功能需求　233
11．3　軟件開發(fā)關(guān)鍵技術(shù)　233
11．4　效果展示　233
11．5　平臺搭建與測試　233
11．5．1　配置ssh免密碼登錄　233
11．5．2　配置JDK　234
11．5．3　配置Hadoop　236
11．5．4　配置Hive　242
11．6　數(shù)據(jù)收集　247
11．6．1　解壓Flume　247
11．6．2　修改配置文件　248
11．6．3　啟動Flume　248
11．6．4　校驗數(shù)據(jù)　248
11．7　數(shù)據(jù)分析　249
11．7．1　數(shù)據(jù)清洗　249
11．7．2　ETL編程　256
11．7．3　業(yè)務(wù)分析　261
11．7．4　配置Sqoop　264
11．7．5　從HDFS導(dǎo)出數(shù)據(jù)至MySQL　267
11．8　數(shù)據(jù)展示　268
11．8．1　搭建Web開發(fā)環(huán)境　268
11．8．2　添加代碼　272
11．8．3　項目結(jié)構(gòu)　282
11．8．4　啟動Tomcat　283
11．8．5　訪問Web頁面　283
本章小結(jié)　283
習(xí)題　284