深入云計(jì)算：Hadoop源代碼分析

第1篇 Hadoop概述與安裝
　第1章 Hadoop的簡(jiǎn)介和安裝
　　1.1 Hadoop的簡(jiǎn)介
　　　1.1.1 分布式文件系統(tǒng)HDFS
　　　1.1.2 并行計(jì)算模型MapReduce
　　1.2 Hadoop的安裝
　　　1.2.1 虛擬機(jī)以及Ubuntu的安裝
　　　1.2.2 創(chuàng)建Hadoop用戶(hù)
　　　1.2.3 JDK1.6的安裝
　　　1.2.4 SSH的配置
　　　1.2.5 單機(jī)模式下Hadoop的安裝
　　　1.2.6 偽分布式模式下Hadoop的安裝
　　　1.2.7 分布式模式下Hadoop的安裝
第2篇 HDFS分布式文件系統(tǒng)及IO模型
　第2章 HDFS架構(gòu)和分布式文件系統(tǒng)
　　2.1 分布式文件系統(tǒng)概述
　　2.2 HDFS的特點(diǎn)
　　2.3 HDFS文件系統(tǒng)架構(gòu)
　　2.4 Hadoop的抽象文件系統(tǒng)模型
　　　2.4.1 FileSystem抽象文件系統(tǒng)
　　　2.4.2 FileStatus文件狀態(tài)信息
　　　2.4.3 FsPermission文件或目錄的操作權(quán)限
　　　2.4.4 FileSystem的實(shí)現(xiàn)類(lèi)
　　　2.4.5 FileSystem的輸入流
　　　2.4.6 FileSystem的輸出流
　　2.5 小結(jié)
　第3章 Hadoop分布式文件系統(tǒng)HDFS的具體實(shí)現(xiàn)
　　3.1 DistributedFileSystem分布式文件系?
　　3.2 DFSClient HDFS客戶(hù)端
　　3.3 小結(jié)
　第4章 NameNode的實(shí)現(xiàn)
　　4.1 INode抽象類(lèi)
　　4.2 INodeDirectory目錄
　　4.3 INodeFile文件
　　4.4 FSDirectory文件系統(tǒng)目錄
　　4.5 FSEditLog文件系統(tǒng)的編輯日志
　　4.6 FSImage文件系統(tǒng)鏡像
　　4.7 Host2NodesMap主機(jī)到DataNode的映射
　　4.8 NetworkTopology網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)
　　4.9 HostsFileReader主機(jī)文件讀取器
　　4.10 BlocksMap 數(shù)據(jù)塊到其元數(shù)據(jù)的映射
　　4.11 FSNamesystem HDFS文件系統(tǒng)的命名空間
　　4.12 NameNode名稱(chēng)結(jié)點(diǎn)
　　4.13 小結(jié)
　第5章 Datanode的實(shí)現(xiàn)
　　5.1 Block數(shù)據(jù)塊
　　5.2 DatanodeID類(lèi)
　　5.3 DatanodeInfo類(lèi)
　　5.4 BlockSender數(shù)據(jù)塊發(fā)送器
　　5.5 BlockReceiver數(shù)據(jù)塊接收器
　　5.6 DataBlockScanner數(shù)據(jù)塊掃描器
　　5.7 FSDataset Datanode數(shù)據(jù)集合
　　5.8 DataXceiverServer
　　5.9 DataXceiver
　　5.10 Datanode類(lèi)
　　5.11 小結(jié)
　第6章 Hadoop的IO
　　6.1 數(shù)據(jù)類(lèi)型接口
　　　6.1.1 Writable接口
　　　6.1.2 Comparable接口
　　　6.1.3 WritableComparable接口
　　　6.1.4 RawComparator比較器接口
　　　6.1.5 WritableComparator接口
　　6.2 基本數(shù)據(jù)類(lèi)型
　　　6.2.1 IntWritable整型類(lèi)型
　　　6.2.2 Text文本類(lèi)型
　　　6.2.3 NullWritable類(lèi)
　　　6.2.4 ObjectWritable類(lèi)
　　6.3 文件類(lèi)型
　　　6.3.1 SequenceFile序列文件
　　　6.3.2 MapFile映射文件
　　6.4 小結(jié)
第3篇 MapReduce計(jì)算框架及RPC通信模型
　第7章 MapReduce的輸入和輸出
　　7.1 輸入格式InputFormat
　　　7.1.1 InputFormat抽象類(lèi)
　　　7.1.2 FileInputFormat文件輸入格式
　　　7.1.3 TextInputFormat文本文件輸入格式
　　　7.1.4 KeyValueTextInputFormat鍵值對(duì)文件輸入格式
　　　7.1.5 CombineFileInputFormat組合文件輸入格式
　　　7.1.6 SequenceFileInputFormat序列文件輸入格式
　　　7.1.7 DBInputFormat數(shù)據(jù)庫(kù)輸入格式
　　　7.1.8 MultipleInputs多種輸入格式
　　　7.1.9 DelegatingInputFormat授權(quán)輸入格式
　　7.2 輸入分片InputSplit
　　　7.2.1 FileSplit文件輸入分片
　　　7.2.2 CombineFileSplit多文件輸入分片
　　　7.2.3 DBInputSplit數(shù)據(jù)庫(kù)輸入分片
　　7.3 記錄讀取器RecordReader
　　　7.3.1 LineRecordReader行記錄讀取器
　　　7.3.2 KeyValueLineRecordReader鍵值對(duì)記錄讀取器
　　　7.3.3 CombineFileRecordReader組合文件記錄讀取器
　　　7.3.4 SequenceFileRecordReader序列文件記錄讀取器
　　　7.3.5 SequenceFileAsTextRecordReader和SequenceFileAsBinaryRecordReader
　　　7.3.6 DBRecordReader數(shù)據(jù)庫(kù)記錄讀取器
　　7.4 輸出格式OutputFormat
　　　7.4.1 OutputFormat抽象類(lèi)
　　　7.4.2 FileOutputFormat文件輸出格式
　　　7.4.3 TextOutputFormat文本格式的文件輸出格式
　　　7.4.4 SequenceFileOutputFormat普通序列文件輸出格式
　　　7.4.5 SequenceFileAsBinaryOutputFormat二進(jìn)制序列文件輸出格式
　　　7.4.6 FilterOutputFormat過(guò)濾器輸出格式
　　　7.4.7 DBOutputFormat數(shù)據(jù)庫(kù)輸出格式
　　　7.4.8 MultipleOutputs多種輸出格式
　　7.5 記錄寫(xiě)入器RecordWriter
　　　7.5.1 DBRecordWriter數(shù)據(jù)庫(kù)記錄寫(xiě)入器
　　　7.5.2 FilterRecordWriter過(guò)濾器記錄寫(xiě)入器
　　　7.5.3 LineRecordWriter 文本行記錄寫(xiě)入器
　　7.6 輸出提交器OutputCommitter
　　　7.6.1 OutputCommitter輸出提交器
　　　7.6.2 FileOutputCommitter文件輸出提交器
　　7.7 小結(jié)
　第8章 Hadoop中的Context和ID
　　8.1 Hadoop運(yùn)行過(guò)程中的Context上下文
　　　8.1.1 JobContext作業(yè)上下文
　　　8.1.2 Job作業(yè)
　　　8.1.3 TaskAttemptContext任務(wù)嘗試上下文
　　　8.1.4 TaskInputOutputContext任務(wù)輸入輸出上下文
　　　8.1.5 MapContext Mapper執(zhí)行的上下文
　　　8.1.6 ReduceContext Reducer執(zhí)行的上下文
　　8.2 Hadoop運(yùn)行過(guò)程中的ID類(lèi)
　　　8.2.1 ID類(lèi)
　　　8.2.2 JobID作業(yè)ID
　　　8.2.3 TaskID任務(wù)ID
　　　8.2.4 TaskAttemptID任務(wù)嘗試ID
　　8.3 小結(jié)
　第9章 Hadoop的計(jì)算模型MapReduce
　　9.1 Map處理過(guò)程
　　　9.1.1 Mapper概述
　　　9.1.2 Mapper源代碼分析
　　　9.1.3 InverseMapper反轉(zhuǎn)Mapper
　　　9.1.4 TokenCounterMapper標(biāo)記計(jì)數(shù)Mapper
　　　9.1.5 MultithreadedMapper多線(xiàn)程Mapper
　　　9.1.6 FieldSelectionMapper字段選擇Mapper
　　　9.1.7 DelegatingMapper授權(quán)Mapper
　　9.2 Reducer處理過(guò)程
　　　9.2.1 Reducer概述
　　　9.2.2 Reducer源代碼
　　　9.2.3 IntSumReducer和LongSumReducer
　　　9.2.4 FieldSelectionReducer字段選擇Reducer
　　9.3 Partitioner分區(qū)處理過(guò)程
　　　9.3.1 Partitioner概述
　　　9.3.2 Partitioner源代碼
　　　9.3.3 HashPartitioner hash分區(qū)
　　　9.3.4 BinaryPartitioner二進(jìn)制分區(qū)
　　　9.3.5 KeyFieldBasedPartitioner基于鍵字段的分區(qū)
　　　9.3.6 TotalOrderPartitioner全排序分區(qū)
　　9.4 小結(jié)
　第10章 JobClient的執(zhí)行過(guò)程分析
　　10.1 MapReduce作業(yè)處理過(guò)程概述
　　　10.1.1 JobConf MapReduce作業(yè)的配置信息
　　　10.1.2 JobSubmissionProtocol作業(yè)提交的接口
　　　10.1.3 RunningJob正在運(yùn)行的Job作業(yè)的接口
　　　10.1.4 JobStatus和JobProfile作業(yè)狀態(tài)信息和注冊(cè)信息
　　　10.1.5 JobSubmissionFiles 獲得作業(yè)提交的文件
　　10.2 JobClient提交作業(yè)流程
　　10.3 JobClient 提交Job的客戶(hù)端
　　10.4 小結(jié)
　第11章 JobTracker的執(zhí)行過(guò)程分析
　　11.1 JobTracker處理過(guò)程概述
　　11.2 JobInfo作業(yè)信息
　　11.3 Counters計(jì)數(shù)器
　　11.4 Queue Job隊(duì)列對(duì)象
　　11.5 QueueManager Job隊(duì)列管理對(duì)象
　　11.6 JobInProgress正在處理的作業(yè)
　　11.7 JobTracker對(duì)JobClient提交的作業(yè)的處理
　　11.8 JobTracker的啟動(dòng)以及Job的初始化
　　11.9 JobTracker的其他源代碼分析
　　11.10 JobTracker中的作業(yè)恢復(fù)管理器RecoveryManager
　　11.11 JobInProgressListener和JobQueueJobInProgressListener
　　11.12 小結(jié)
　第12章 Hadoop的作業(yè)調(diào)度器
　　12.1 Hadoop作業(yè)調(diào)度器概述
　　12.2 TaskScheduler調(diào)度器的抽象父類(lèi)
　　12.3 JobQueueTaskScheduler FIFO調(diào)度器
　　12.4 LimitTasksPerJobTaskScheduler任務(wù)數(shù)限制FIFO調(diào)度器
　　12.5 CapacityTaskScheduler計(jì)算能力調(diào)度器
　　12.6 FairScheduler公平調(diào)度器
　　12.7 小結(jié)
　第13章 TaskTracker的執(zhí)行過(guò)程
　　13.1 TaskTracker的啟動(dòng)
　　13.2 TaskTracker與JobTracker進(jìn)行通信的組件InterTrackerProtocol
　　13.3 JobTracker返回給TaskTracker的Action的類(lèi)型
　　13.4 TaskTracker向JobTracker發(fā)送心跳的過(guò)程
　　13.5 TaskTracker的任務(wù)處理過(guò)程
　　13.6 TaskTracker的其他源代碼分析
　　13.7 TaskStatus任務(wù)的狀態(tài)信息
　　13.8 TaskInProgress正在處理的任務(wù)
　　13.9 Task所有任務(wù)的父類(lèi)
　　13.10 MapTask執(zhí)行過(guò)程概述
　　13.11 MapOutputBuffer Map輸出緩沖區(qū)
　　13.12 ReduceTask執(zhí)行過(guò)程概述
　　13.13 ReduceCopier Reduce的Copy和Merge執(zhí)行工具
　　13.14 小結(jié)
　第14章 Hadoop的RPC協(xié)議
　　14.1 Hadoop RPC概念概述
　　14.2 RPC協(xié)議接口
　　　14.2.1 ClientDatanodeProtocol客戶(hù)端與DataNode進(jìn)行通信的協(xié)議
　　　14.2.2 ClientProtocol客戶(hù)端和NameNode進(jìn)行通信的協(xié)議
　　　14.2.3 DatanodeProtocol DataNode與NameNode進(jìn)行通信的協(xié)議
　　　14.2.4 InterDatanodeProtocol DataNode之間進(jìn)行通信的協(xié)議
　　　14.2.5 NamenodeProtocol SecondaryNameNode與NameNode進(jìn)行通信的協(xié)議
　　　14.2.6 InterTrackerProtocol TaskTracker與JobTracker進(jìn)行通信的協(xié)議
　　　14.2.7 JobSubmissionProtocol JobClient與JobTracker進(jìn)行通信的協(xié)議
　　　14.2.8 TaskUmbilicalProtocol Child進(jìn)程與TaskTracker父進(jìn)程進(jìn)行通信的協(xié)議
　　14.3 RPC的客戶(hù)端和服務(wù)器端的實(shí)現(xiàn)
　　　14.3.1 Client客戶(hù)端
　　　14.3.2 Server服務(wù)端
　　14.4 小結(jié)