Hadoop大數(shù)據(jù)平臺構(gòu)建與應(yīng)用

第1章 大數(shù)據(jù)與Hadoop平臺技術(shù)\t1
1．1 大數(shù)據(jù)時(shí)代\t1
1．2 大數(shù)據(jù)關(guān)鍵技術(shù)\t2
1．3 大數(shù)據(jù)涉及的主要軟件\t3
1．4 Hadoop平臺技術(shù)的生態(tài)\t4
第2章 Ubuntu系統(tǒng)的安裝與使用\t7
2．1 Linux系統(tǒng)簡介\t7
2．2 Ubuntu系統(tǒng)安裝\t8
2．2．1 下載虛擬機(jī)軟件VMware并安裝\t8
2．2．2 在虛擬機(jī)中安裝Ubuntu系統(tǒng)\t14
2．2．3 切換中英文輸入法\t27
2．2．4 安裝VMware Tools\t28
2．2．5 apt更新與更新源更換\t30
2．2．6 安裝vim編輯器并使用\t32
2．3 虛擬機(jī)聯(lián)網(wǎng)問題及其他\t34
第3章 Linux基礎(chǔ)知識及相關(guān)軟件的基本使用\t39
3．1 Linux基礎(chǔ)知識\t39
3．1．1 Linux目錄結(jié)構(gòu)\t39
3．1．2 Shell介紹\t40
3．1．3 超級用戶――root用戶\t41
3．1．4 sudo命令和su命令\t41
3．1．5 創(chuàng)建與刪除普通用戶\t42
3．1．6 目錄標(biāo)記規(guī)則\t43
3．1．7 目錄權(quán)限\t43
3．1．8 安裝SSH\t44
3．2 Linux常用軟件與命令\t45
3．2．1 修改主機(jī)名\t45
3．2．2 目錄操作\t45
3．2．3 查看文件內(nèi)容和清屏\t46
3．2．4 文件操作\t46
3．2．5 文件解壓\t47
3．2．6 進(jìn)程與端口查看命令\t48
3．2．7 系統(tǒng)管理命令\t49
3．2．8 數(shù)據(jù)流重定向和管道的使用\t50
3．2．9 其他使用技巧介紹\t51
3．3 在Ubuntu中安裝Eclipse\t51
3．3．1 通過軟件中心下載安裝Eclipse\t51
3．3．2 在桌面創(chuàng)建Eclipse快捷方式\t52
第4章 Hadoop的偽分布式安裝與使用\t54
4．1 深入了解Hadoop\t54
4．1．1 Hadoop發(fā)行版本介紹\t54
4．1．2 Hadoop核心架構(gòu)\t55
4．1．3 Hadoop的主要應(yīng)用場景\t56
4．2 安裝Java環(huán)境\t57
4．2．1 離線安裝\t57
4．2．2 在線安裝\t58
4．3 安裝Hadoop\t59
4．3．1 下載Hadoop安裝文件并解壓\t59
4．3．2 配置Hadoop環(huán)境變量\t60
4．3．3 偽分布式模式配置\t61
4．3．4 Hadoop無法正常啟動(dòng)和使用的解決方法\t63
第5章 HDFS\t65
5．1 HDFS基本知識\t65
5．1．1 DFS簡介\t65
5．1．2 HDFS\t65
5．1．3 HDFS存儲數(shù)據(jù)\t66
5．2 Shell命令與HDFS交互操作\t67
5．2．1 Hadoop Shell命令方式\t67
5．2．2 目錄操作\t68
5．2．3 文件操作\t69
5．2．4 利用Web界面管理HDFS\t70
5．3 Java編程與HDFS實(shí)現(xiàn)交互\t71
5．3．1 在Eclipse中創(chuàng)建HDFS交互Java項(xiàng)目\t71
5．3．2 在Java項(xiàng)目中編寫Java應(yīng)用程序代碼\t75
5．3．3 編譯運(yùn)行程序與打包\t77
5．3．4 練習(xí)中使用的代碼文件\t81
第6章 HBase偽分布部署與使用\t85
6．1 HBase介紹\t85
6．2 安裝HBase\t86
6．3 偽分布HBase環(huán)境搭建\t87
6．4 HBase Shell常用操作命令實(shí)踐\t90
6．4．1 HBase表結(jié)構(gòu)舉例說明和常用的表操作命令\t90
6．4．2 在HBase中創(chuàng)建表和刪除表\t91
6．4．3 HBase數(shù)據(jù)庫基本操作\t92
第7章 MapReduce原理與基礎(chǔ)編程\t94
7．1 MapReduce介紹與基本原理\t94
7．1．1 MapReduce在現(xiàn)實(shí)生活中的運(yùn)用\t94
7．1．2 通過案例拆解MapReduce的工作過程\t95
7．1．3 MapReduce工作流程概括\t98
7．2 MapReduce編程思路\t98
7．3 MapReduce編程實(shí)例1：WordCount\t99
7．4 MapReduce編程實(shí)例2：計(jì)算學(xué)生的平均成績\t109
第8章 數(shù)據(jù)倉庫Hive偽分布式部署與使用\t113
8．1 Hive的特點(diǎn)\t113
8．2 Hive偽分布式部署\t114
8．2．1 安裝配置Hive\t114
8．2．2 安裝配置MySQL，連接Hive元數(shù)據(jù)庫\t115
8．3 MySQL數(shù)據(jù)庫操作\t118
8．3．1 常用命令介紹\t118
8．3．2 無法登錄MySQL Shell的解決方法\t120
第9章 數(shù)據(jù)分析與Hive數(shù)據(jù)庫操作\t121
9．1 Hive操作命令介紹\t121
9．2 HQL中的Case命令用法介紹\t122
9．3 電商網(wǎng)站日志數(shù)據(jù)分析與達(dá)成目標(biāo)\t124
9．4 數(shù)據(jù)分析實(shí)現(xiàn) \t126
9．4．1 將網(wǎng)站日志文件集加載到Hive中\(zhòng)t126
9．4．2 統(tǒng)計(jì)分析網(wǎng)站日志數(shù)據(jù)\t127
9．4．3 統(tǒng)計(jì)詞頻\t131
第10章 Spark的安裝與基礎(chǔ)編程\t133
10．1 Spark的安裝（Python版）\t133
10．1．1 下載Spark安裝軟件\t134
10．1．2 安裝與配置Spark\t134
10．1．3 在PySpark中運(yùn)行代碼\t135
10．1．4 Spark獨(dú)立應(yīng)用程序編程示例\t136
10．2 Spark的一些基本概念\t137
10．3 RDD編程操作\t137
10．3．1 RDD操作的兩種類型\t137
10．3．2 創(chuàng)建RDD\t139
10．3．3 創(chuàng)建鍵值對RDD\t142
10．4 從RDD到DataFrame\t145
10．4．1 Spark SQL和DataFrame\t145
10．4．2 創(chuàng)建樣例數(shù)據(jù)文件\t146
10．4．3 讀取json和csv文件生成DataFrame\t147
10．4．4 普通文本文件生成DataFrame\t148
10．5 Spark綜合編程與Python可視化\t151
10．5．1 Spark綜合編程\t151
10．5．2 Python可視化呈現(xiàn)\t154
第11章 Hadoop集群環(huán)境搭建\t160
11．1 克隆Linux虛擬機(jī)\t160
11．2 橋接模式與NAT模式\t163
11．2．1 橋接模式\t163
11．2．2 NAT模式\t164
11．3 VMware Workstation橋接網(wǎng)絡(luò)配置\t164
11．3．1 集群網(wǎng)絡(luò)配置實(shí)現(xiàn)的目標(biāo)\t164
11．3．2 設(shè)置網(wǎng)絡(luò)橋接模式\t165
11．3．3 驗(yàn)證\t169
11．4 大數(shù)據(jù)集群環(huán)境配置與搭建\t170
11．4．1 修改主機(jī)名，并將主機(jī)名與IP地址建立映射\t170
11．4．2 集群SSH免密登錄\t171
11．4．3 時(shí)間同步\t173
第12章 Zookeeper與集群Hadoop安裝應(yīng)用\t174
12．1 Zookeeper介紹\t174
12．1．1 Zookeeper的作用\t174
12．1．2 Zookeeper選舉機(jī)制\t175
12．2 安裝Zookeeper\t175
12．2．1 為安裝Zookeeper的目錄賦權(quán)\t175
12．2．2 下載、解壓Zookeeper安裝包\t175
12．2．3 修改Zookeeper配置文件zoo．cfg\t176
12．2．4 創(chuàng)建zkdata和zkdatalog文件夾\t177
12．2．5 創(chuàng)建文件myid\t177
12．2．6 配置環(huán)境變量\t177
12．2．7 遠(yuǎn)程復(fù)制分發(fā)\t178
12．2．8 啟動(dòng)Zookeeper集群\t179
12．2．9 Zookeeper啟動(dòng)錯(cuò)誤及解決方法\t179
12．3 在集群上安裝Hadoop\t180
12．4 在集群上安裝HBase\t185
第13章 構(gòu)建集群數(shù)據(jù)倉庫\t189
13．1 在slave2節(jié)點(diǎn)上安裝MySQL Server\t189
13．2 在slave1節(jié)點(diǎn)上安裝Hive服務(wù)器\t191
13．3 將master節(jié)點(diǎn)作為Hive客戶端\t194
13．4 啟動(dòng)Hive\t195
第14章 Hadoop從完全分布式到HA的安裝與使用\t197
14．1 Hadoop HA\t197
14．1．1 HDFS HA背景\t197
14．1．2 HDFS HA架構(gòu)\t197
14．2 安裝虛擬機(jī)系統(tǒng)\t199
14．2．1 在VMware中創(chuàng)建虛擬機(jī)\t199
14．2．2 安裝CentOS 7\t206
14．2．3 設(shè)置網(wǎng)絡(luò)靜態(tài)IP地址\t208
14．2．4 克隆3臺虛擬機(jī)\t211
14．3 使用XShell 6登錄CentOS虛擬機(jī)\t212
14．4 修改各節(jié)點(diǎn)主機(jī)名稱并配置SSH免密\t215
14．4．1 修改各節(jié)點(diǎn)的虛擬機(jī)主機(jī)名\t215
14．4．2 主機(jī)名與IP地址映射\t215
14．4．3 SSH免密設(shè)置\t216
14．5 安裝JDK\t218
14．6 安裝并配置Zookeeper\t219
14．6．1 安裝Zookeeper\t220
14．6．2 啟動(dòng)和停止Zookeeper\t222
14．7 安裝并配置為完全分布式Hadoop集群\t223
14．7．1 上傳、解壓文件并配置環(huán)境變量\t223
14．7．2 將Hadoop配置為完全分布式集群\t224
14．8 部署配置Hadoop HA模式\t227
14．8．1 編輯Hadoop HA配置文件\t227
14．8．2 分發(fā)文件\t230
14．8．3 第一次啟動(dòng)HA\t231
14．8．4 常規(guī)啟動(dòng)HA\t234
14．8．5 Hadoop HA部署完成之后的常規(guī)啟停順序\t236
14．8．6 在HA集群上測試WordCount程序\t236