Hadoop MapReduce性能優(yōu)化

目錄
第1章 了解Hadoop MapReduce 1
1.1 MapReduce模型 1
1.2 Hadoop MapReduce概述 3
1.3 Hadoop MapReduce的工作原理 4
1.4 影響MapReduce性能的因素 5
1.5 小結 8
第2章 Hadoop參數概述 9
2.1 研究Hadoop參數 9
2.1.1 配置文件mapred-site.xml 10
2.1.2 配置文件hdfs-site.xml 15
2.1.3 配置文件core-site.xml 18
2.2 Hadoop MapReduce性能指標 19
2.3 性能監(jiān)測工具 20
2.3.1 用Chukwa監(jiān)測Hadoop 21
2.3.2 使用Ganglia監(jiān)測Hadoop 21
2.3.3 使用Nagios監(jiān)測Hadoop 21
2.4 用Apache Ambari監(jiān)測Hadoop 22
2.5 小結 23
第3章 檢測系統(tǒng)瓶頸 25
3.1 性能調優(yōu) 25
3.2 創(chuàng)建性能基線 27
3.3 識別資源瓶頸 30
3.3.1 識別內存瓶頸 30
3.3.2 識別CPU瓶頸 31
3.3.3 識別存儲瓶頸 32
3.3.4 識別網絡帶寬瓶頸 33
3.4 小結 34
第4章 識別資源薄弱環(huán)節(jié) 35
4.1 識別集群薄弱環(huán)節(jié) 35
4.1.1 檢查Hadoop集群節(jié)點的健康狀況 36
4.1.2 檢查輸入數據大小 37
4.1.3 檢查海量I/O和網絡阻塞 38
4.1.4 檢查并發(fā)任務不足 39
4.1.5 檢查CPU過飽和 40
4.2 量化Hadoop集群 41
4.3 正確配置集群 44
4.4 小結 47
第5章 強化map和reduce任務 49
5.1 強化map任務 49
5.1.1 輸入數據和塊大小的影響 51
5.1.2 處置小文件和不可拆分文件 51
5.1.3 在Map階段壓縮溢寫記錄 53
5.1.4 計算map任務的吞吐量 55
5.2 強化reduce任務 57
5.2.1 計算reduce任務的吞吐量 58
5.2.2 改善Reduce執(zhí)行階段 59
5.3 調優(yōu)map和reduce參數 60
5.4 小結 64
第6章 優(yōu)化MapReduce任務 65
6.1 使用Combiner 65
6.2 使用壓縮技術 68
6.3 使用正確Writable類型 72
6.4 明智地復用類型 74
6.5 優(yōu)化mapper和reducer的代碼 76
6.6 小結 78
第7章 最佳實踐與建議 81
7.1 硬件調優(yōu)與操作系統(tǒng)推薦 81
7.1.1 Hadoop集群檢查表 81
7.1.2 Bios調優(yōu)檢查表 82
7.1.3 OS配置建議 82
7.2 Hadoop最佳實踐與建議 83
7.2.1 部署Hadoop 83
7.2.2 Hadoop調優(yōu)建議 84
7.2.3 使用MapReduce模板類代碼 86
7.3 小結 90