深入云計(jì)算：Hadoop應(yīng)用開(kāi)發(fā)實(shí)戰(zhàn)詳解

第1篇 Hadoop技術(shù)篇 第1章 初識(shí)Hadoop 1.1 Hadoop簡(jiǎn)介 1.1.1 Hadoop的起源 1.1.2 什么是Hadoop 1.1.3 Hadoop的核心技術(shù)是Google核心技術(shù)的開(kāi)源實(shí)現(xiàn) 1.1.4 Hadoop的功能與優(yōu)點(diǎn) 1.1.5 Hadoop的應(yīng)用現(xiàn)狀和發(fā)展趨勢(shì) 1.2 Hadoop的體系結(jié)構(gòu) 1.2.1 HDFS的體系結(jié)構(gòu) 1.2.2 MapReduce的體系結(jié)構(gòu) 1.3 Hadoop與分布式開(kāi)發(fā) 1.4 Hadoop的數(shù)據(jù)管理 1.4.1 HDFS的數(shù)據(jù)管理 1.4.2 HBase的數(shù)據(jù)管理 1.4.3 Hive的數(shù)據(jù)管理 1.5 思考與總結(jié) 第2章 Hadoop的安裝和配置 2.1 在Windows下安裝與配置Hadoop 2.1.1 JDK的安裝 2.1.2 Cygwin的安裝 2.1.3 Hadoop的安裝 2.2 在Linux下安裝與配置Hadoop 2.2.1 Ubuntu的安裝 2.2.2 JDK的安裝 2.2.3 Hadoop的安裝 2.3 Hadoop的執(zhí)行實(shí)例 2.3.1 運(yùn)行Hadoop 2.3.2 運(yùn)行wordcount.java程序 2.4 Hadoop Eclipse簡(jiǎn)介和使用 2.4.1 Eclipse插件介紹 2.4.2 Eclipse插件開(kāi)發(fā)配置 2.4.3 在Eclipse下運(yùn)行WordCount程序 2.5 Hadoop的集群和優(yōu)化 2.5.1 Hadoop的性能優(yōu)化 2.5.2 Hadoop配置機(jī)架感知信息 2.6 思考與總結(jié) 第3章 HDFS海量存儲(chǔ) 3.1 開(kāi)源的GFS——HDFS 3.1.1 HDFS簡(jiǎn)介 3.1.2 HDFS的體系結(jié)構(gòu) 3.1.3 HDFS的保障可靠性措施 3.2 HDFS的常用操作 3.2.1 HDFS下的文件操作 3.2.2 管理與更新 3.2.3 HDFS API詳解 3.2.4 HDFS的讀/寫(xiě)數(shù)據(jù)流 3.3 用HDFS存儲(chǔ)海量的視頻數(shù)據(jù) 3.3.1 場(chǎng)景分析 3.3.2 設(shè)計(jì)實(shí)現(xiàn) 3.4 思考與總結(jié) 第4章 初識(shí)MapReduce 4.1 MapReduce簡(jiǎn)介 4.1.1 MapReduce要解決什么問(wèn)題 4.1.2 MapReduce的理論基礎(chǔ) 4.1.3 MapReduce的編程模式 4.2 MapReduce的集群行為 4.3 Map/Reduce框架 4.4 樣例分析：?jiǎn)卧~計(jì)數(shù) 4.4.1 WordCount實(shí)例的運(yùn)行過(guò)程 4.4.2 WordCount的源碼分析和程序處理過(guò)程 4.4.3 MapReduce常用類及其接口 4.5 實(shí)例：倒排索引 4.5.1 倒排索引的分析和設(shè)計(jì) 4.5.2 倒排索引完整源碼 4.5.3 運(yùn)行代碼結(jié)果 4.6 MapReduce 在日志分析中數(shù)據(jù)去重案例 4.6.1 什么是數(shù)據(jù)去重 4.6.2 設(shè)計(jì)思路 4.6.3 程序代碼 4.6.4 代碼運(yùn)行結(jié)果 4.7 數(shù)據(jù)排序?qū)嵗? 4.7.1 實(shí)例描述 4.7.2 設(shè)計(jì)思路 4.7.3 程序代碼 4.8 思考與總結(jié) 第5章 分布式開(kāi)源數(shù)據(jù)庫(kù)HBase 5.1 HBase簡(jiǎn)介 5.1.1 HBase邏輯視圖 5.1.2 HBase物理存儲(chǔ) 5.1.3 子表Region服務(wù)器 5.1.4 Hmaster主服務(wù)器 5.1.5 元數(shù)據(jù)表 5.2 HBase的安裝配置 5.2.1 HBase單機(jī)模式 5.2.2 HBase偽分布模式 5.2.3 HBase完全分布模式 5.3 學(xué)生成績(jī)表實(shí)例 5.3.1 Shell的基本操作 5.3.2 代碼實(shí)現(xiàn) 5.3.3 關(guān)于中文的處理 5.3.4 常用HBase的 Shell操作 5.4 思考與總結(jié) 第6章 MapReduce進(jìn)階 6.1 API的配置 6.1.1 一個(gè)簡(jiǎn)單的配置文件 6.1.2 合并多個(gè)源文件 6.1.3 可變的擴(kuò)展 6.2 配置開(kāi)發(fā)環(huán)境 6.2.1 配置文件設(shè)置 6.2.2 設(shè)置用戶標(biāo)識(shí) 6.3 復(fù)合鍵值對(duì)的使用 6.3.1 小的鍵值對(duì)如何合并成大的鍵值對(duì) 6.3.2 巧用復(fù)合鍵讓系統(tǒng)完成排序 6.4 用戶定制數(shù)據(jù)類型 6.4.1 內(nèi)置數(shù)據(jù)類型 6.4.2 用戶自定義數(shù)據(jù)類型 6.5 用戶定制輸入/輸出格式 6.5.1 內(nèi)置數(shù)據(jù)的輸入格式 6.5.2 用戶定制數(shù)據(jù)輸入格式與RecordReader 6.5.3 Hadoop內(nèi)置的數(shù)據(jù)輸出格式 6.5.4 Hadoop內(nèi)置的數(shù)據(jù)輸出格式與RecordWriter 6.6 用戶定制Partitioner和Combiner 6.7 組合式的MapReduce作業(yè) 6.7.1 MapReduce作業(yè)運(yùn)行機(jī)制 6.7.2 組合式MapReduce計(jì)算作業(yè) 6.8 DataJoin鏈接多數(shù)據(jù)源 6.9 思考與總結(jié) 第7章 Hive數(shù)據(jù)倉(cāng)庫(kù) 7.1 Hive簡(jiǎn)介 7.2 Hive安裝與配置 7.3 Hive的服務(wù) 7.3.1 Hive shell 7.3.2 JDBC/ODBC 7.3.3 Thrift服務(wù) 7.3.4 Web接口 7.3.5 元數(shù)據(jù)服務(wù) 7.4 HiveQL查詢語(yǔ)言 7.5 Hive實(shí)例 7.5.1 UDF 編程實(shí)例 7.5.2 UDAF 編程實(shí)例 7.5.3 Hive的日志數(shù)據(jù)統(tǒng)計(jì)實(shí)戰(zhàn) 7.6 思考與總結(jié) 第8章 Pig開(kāi)發(fā)應(yīng)用 8.1 Pig簡(jiǎn)介 8.2 Pig的安裝與配置 8.3 Pig的使用 8.3.1 Pig的MapReduce模式 8.3.2 Pig的運(yùn)行方式 8.4 通過(guò)Grunt學(xué)習(xí)Pig Latin 8.4.1 Pig的數(shù)據(jù)模型 8.4.2 運(yùn)算符 8.4.3 常用操作 8.4.4 各種SQL在Pig中的實(shí)現(xiàn) 8.4.5 Pig Latin實(shí)現(xiàn) 8.5 Pig使用的案例 8.6 思考與總結(jié) 第9章 Chukwa數(shù)據(jù)收集系統(tǒng) 9.1 Chukwa簡(jiǎn)介 9.1.1 Chukwa是什么 9.1.2 Chukwa主要解決什么問(wèn)題 9.2 Chukwa的安裝配置 9.2.1 Chukwa的安裝 9.2.2 Chukwa的配置 9.2.3 Chukwa的啟動(dòng) 9.3 Chukwa的基本命令 9.3.1 Chukwa端的命令 9.3.2 Agent 端的命令 9.4 Chukwa在數(shù)據(jù)收集處理方面的運(yùn)用 9.4.1 數(shù)據(jù)生成 9.4.2 數(shù)據(jù)收集 9.4.3 數(shù)據(jù)處理 9.4.4 數(shù)據(jù)析取 9.4.5 數(shù)據(jù)稀釋 9.4.6 數(shù)據(jù)顯示 9.5 思考與總結(jié) 第10章 ZooKeeper開(kāi)發(fā)應(yīng)用 10.1 ZooKeeper簡(jiǎn)介 10.1.1 ZooKeeper的設(shè)計(jì)目標(biāo) 10.1.2 ZooKeeper主要解決什么問(wèn)題 10.1.3 ZooKeeper的基本概念和工作原理 10.2 ZooKeeper的安裝配置 10.2.1 單機(jī)模式 10.2.2 啟動(dòng)并測(cè)試ZooKeeper 10.2.3 集群模式 10.3 ZooKeeper提供的接口 10.4 ZooKeeper事件 10.5 ZooKeeper實(shí)例 10.5.1 實(shí)例1：一個(gè)簡(jiǎn)單的應(yīng)用——分布式互斥鎖 10.5.2 實(shí)例2：進(jìn)程調(diào)度系統(tǒng) 10.6 思考與總結(jié) 第2篇 Hadoop管理和容錯(cuò)篇 第11章 Hadoop管理 11.1 Hadoop權(quán)限管理 11.2 HDFS文件系統(tǒng)管理 11.3 Hadoop維護(hù)與管理 11.4 Hadoop常見(jiàn)問(wèn)題及解決辦法 11.5 思考與總結(jié) 第12章 Hadoop容錯(cuò) 12.1 Hadoop的可靠性 12.1.1 HDFS中的NameNode單點(diǎn)失效解決方案 12.1.2 HDFS數(shù)據(jù)塊副本機(jī)制 12.1.3 HDFS心跳機(jī)制 12.1.4 HDFS負(fù)載均衡 12.1.5 MapReduce容錯(cuò) 12.2 Hadoop的SecondayNameNode機(jī)制 12.2.1 磁盤(pán)鏡像與日志文件 12.2.2 SecondaryNameNode更新鏡像的流程 12.3 Avatar機(jī)制 12.3.1 Avatar機(jī)制簡(jiǎn)介 12.3.2 Avatars部署實(shí)戰(zhàn) 12.4 Hadoop_HBase容錯(cuò) 12.5 思考與總結(jié) 第3篇 Hadoop實(shí)戰(zhàn)篇 第13章 綜合實(shí)戰(zhàn)1：Hadoop中的數(shù)據(jù)庫(kù)訪問(wèn) 13.1 DBInputFormat類訪問(wèn)數(shù)據(jù)庫(kù) 13.1.1 在DBInputFormat類中包含的內(nèi)置類 13.1.2 使用DBInputFormat讀取數(shù)據(jù)庫(kù)表中的記錄 13.1.3 使用示例 13.2 使用DBOutputFormat向數(shù)據(jù)庫(kù)中寫(xiě)記錄 13.3 思考與總結(jié) 第14章 綜合實(shí)戰(zhàn)2：一個(gè)簡(jiǎn)單的分布式的Grep 14.1 分析與設(shè)計(jì) 14.2 實(shí)現(xiàn)代碼 14.3 運(yùn)行程序 14.4 思考與總結(jié) 第15章 綜合實(shí)戰(zhàn)3：打造一個(gè)搜索引擎 15.1 搜索引擎工作原理 15.2 網(wǎng)頁(yè)搜集與信息提取 15.2.1 設(shè)計(jì)的主要思想 15.2.2 系統(tǒng)設(shè)計(jì)目標(biāo) 15.3 網(wǎng)頁(yè)信息的提取與存儲(chǔ) 15.4 MapReduce的預(yù)處理 15.4.1 第一步：源數(shù)據(jù)過(guò)濾 15.4.2 第二步：生成倒排文件 15.4.3 第三步：建立二級(jí)索引 15.5 建立Web信息查詢服務(wù) 15.6 思考與總結(jié) 第16章 綜合實(shí)戰(zhàn)4：移動(dòng)通信信令監(jiān)測(cè)與查詢 16.1 分析與設(shè)計(jì) 16.1.1 CDR數(shù)據(jù)文件的檢測(cè)與索引創(chuàng)建任務(wù)調(diào)度 16.1.2 從HDFS讀取數(shù)據(jù)并創(chuàng)建索引 16.1.3 查詢CDR信息 16.2 代碼實(shí)現(xiàn) 16.2.1 CDR文件檢測(cè)和索引創(chuàng)建任務(wù)程序 16.2.2 讀取CDR數(shù)據(jù)和索引創(chuàng)建處理 16.2.3 CDR查詢 16.3 思考與總結(jié) 附錄A Hadoop命令大全 附錄B HDFS命令大全