Hadoop技術(shù)詳解

第1章 簡(jiǎn)介
第2章 HDFS
2.1 目標(biāo)和動(dòng)機(jī)
2.2 設(shè)計(jì)
2.3 守護(hù)進(jìn)程
2.4 讀寫數(shù)據(jù)
2.4.1 數(shù)據(jù)讀取流程
2.4.2 數(shù)據(jù)寫操作流程
2.5 管理文件系統(tǒng)元數(shù)據(jù)
2.6 NameNode的高可用性
2.7 NameNode聯(lián)盟
2.8 訪問(wèn)與集成
2.8.1 命令行工具
2.8.2 用戶空間文件系統(tǒng)（FUSE）
2.8.3 表示狀態(tài)傳輸（REST）的支持
第3章 MapReduce
3.1 MapReduce的若干階段
3.2 Hadoop MapReduce簡(jiǎn)介
3.2.1 后臺(tái)程序
3.2.2 出錯(cuò)處理
3.3 YARN
第4章 規(guī)劃一個(gè)Hadoop集群
4.1 挑選Hadoop的發(fā)行版本
4.1.1 Apache Hadoop
4.1.2 Cloudera的Apache Hadoop發(fā)行版本
4.1.3 版本和功能
4.1.4 我應(yīng)該使用哪個(gè)版本
4.2 硬件選型
4.2.1 主節(jié)點(diǎn)硬件的選擇
4.2.2 工作節(jié)點(diǎn)的硬件選擇
4.2.3 集群的大小
4.2.4 刀片服務(wù)器、存儲(chǔ)區(qū)域網(wǎng)絡(luò)（SAN）和虛擬化
4.3 操作系統(tǒng)的選擇和準(zhǔn)備
4.3.1 部署規(guī)劃
4.3.2 軟件
4.3.3 主機(jī)名、DNS和標(biāo)識(shí)
4.3.4 用戶、組和特權(quán)
4.4 內(nèi)核調(diào)整
4.4.1 vm.swappiness
4.4.2 vm.overcommit_memory
4.5 磁盤配置
4.5.1 選擇文件系統(tǒng)
4.5.2 掛載選項(xiàng)
4.6 網(wǎng)絡(luò)設(shè)計(jì)
4.6.1 Hadoop中的網(wǎng)絡(luò)使用：回顧
4.6.2 1 Gb與10 Gb網(wǎng)絡(luò)
4.6.3 典型的網(wǎng)絡(luò)拓?fù)?br />第5章 安裝和配置
5.1 安裝Hadoop
5.1.1 Apache Hadoop
5.1.2 CDH
5.2 配置概述
5.3 環(huán)境變量和Shell腳本
5.4 日志配置
5.5 HDFS
5.5.1 識(shí)別和定位
5.5.2 優(yōu)化與調(diào)整
5.5.3 格式化NameNode
5.5.4 創(chuàng)建/tmp目錄
5.6 NameNode的高可靠性
5.6.1 隔離（Fencing）選項(xiàng)
5.6.2 基本配置
5.6.3 自動(dòng)失效備援配置
5.6.4 格式化和引導(dǎo)NameNode啟動(dòng)
5.7 NameNode聯(lián)盟（Federation）
5.8 MapReduce
5.8.1 識(shí)別和定位
5.8.2 優(yōu)化和調(diào)整
5.9 機(jī)架拓?fù)?br />5.10 安全
第6章 用戶標(biāo)識(shí)、身份驗(yàn)證和授權(quán)
6.1 用戶標(biāo)識(shí)
6.2 Kerberos和Hadoop
6.2.1 Kerberos
6.2.2 Hadoop上的Kerberos支持
6.3 授權(quán)
6.3.1 HDFS
6.3.2 MapReduce
6.3.3 其他工具和系統(tǒng)
6.4 集成試試
第7章 資源管理
7.1 何謂資源管理
7.2 HDFS配額
7.3 MapReduce 調(diào)度器
7.3.1 先進(jìn)先出（FIFO）調(diào)度器
7.3.2 公平調(diào)度器
7.3.3 計(jì)算能力調(diào)度器（Capacity Scheduler）
7.3.4 未來(lái)發(fā)展
第8章 集群維護(hù)
8.1 Hadoop流程管理
8.1.1 用初始化腳本管理進(jìn)程
8.1.2 手動(dòng)管理進(jìn)程
8.2 HDFS維護(hù)任務(wù)
8.2.1 添加一個(gè)DataNode
8.2.2 卸載DataNode
8.2.3 用fsck來(lái)檢查文件系統(tǒng)的一致性
8.2.4 HDFS塊數(shù)據(jù)均衡
8.2.5 處理壞磁盤
8.3 MapReduce維護(hù)任務(wù)
8.3.1 添加tasktracker
8.3.2 卸載tasktracker
8.3.3 終結(jié)MapReduce 作業(yè)
8.3.4 終結(jié)MapReduce任務(wù)
8.3.5 處理列入黑名單的tasktracker
第9章 故障分析與排查
9.1 鑒別診斷（Differential Diagnosis）
9.2 故障和問(wèn)題
9.2.1 人類（自己）
9.2.2 配置錯(cuò)誤
9.2.3 硬件故障
9.2.4 資源枯竭
9.2.5 主機(jī)標(biāo)識(shí)和命名
9.2.6 網(wǎng)絡(luò)分區(qū)
9.3 “計(jì)算機(jī)插好了么？”
9.4 治療和護(hù)理
9.5 實(shí)戰(zhàn)案例
9.5.1 神秘的瓶頸
9.5.2 127.0.0.1這個(gè)地址不存在
第10章 監(jiān)控
10.1 概覽
10.2 Hadoop度量（Metrics）
10.2.1 Apache Hadoop 0.20.0和CDH3 （metrics1）
10.2.2 Apache Hadoop 0.20.203及之后的版本、CDH4（metrics2）
10.2.3 SNMP
10.3 健康監(jiān)控
10.3.1 主機(jī)級(jí)別的檢查
10.3.2 所有Hadoop進(jìn)程
10.3.3 HDFS檢查
10.3.4 MapReduce檢查
第11章 備份與恢復(fù)
11.1 數(shù)據(jù)備份
11.1.1 分布式拷貝（distcp）
11.1.2 并行提取數(shù)據(jù)
11.2 NameNode元數(shù)據(jù)
附錄 棄用的配置屬性