Flume：構建高可用、可擴展的海量日志采集系統(tǒng)

定　價：￥69.00

作　者：	[美] Hari Shreedharan（哈里·史瑞德哈倫）著；馬延輝，史東杰譯
出版社：	電子工業(yè)出版社
叢編項：
標　簽：	計算機/網絡軟件工程/開發(fā)項目管理

購買這本書可以去

ISBN：	9787121265587	出版時間：	2015-08-01	包裝：	平裝
開本：	16開	頁數：	232	字數：

內容簡介

　　《Flume：構建高可用、可擴展的海量日志采集系統(tǒng)》從Flume 的基本概念和設計原理開始講解，分別介紹了不同種類的組件、如何配置組件、如何運行Flume Agent 等。同時，分別討論Source、Channel 和Sink 三種核心組件，不僅僅闡述每個組件的基本概念，而且結合實際的編程案例，深入、全面地介紹每個組件的詳細用法，并且這部分內容也是整個Flume 框架的重中之重。之后，講解攔截器、Channel選擇器、Sink 組和Sink 處理器等內容，它們?yōu)镕lume 提供靈活的擴展支持。最后，介紹了Flume 的高級使用，如何使用Flume 軟件開發(fā)工具集（SDK）和Embedded Agent API，如何設計、部署和監(jiān)控Flume 生產集群。總而言之，《Flume：構建高可用、可擴展的海量日志采集系統(tǒng)》是一本理論結合實戰(zhàn)，深度、廣度兼?zhèn)涞暮Ａ咳罩静杉到y(tǒng)的著作。

作者簡介

　　Hari Shreedharan，是Cloudera的一名軟件工程師，他工作于Apache Spark、Apache Flume和Apache Sqoop。他也是Flume項目的一個提交者和PMC成員，幫助項目的方向做決定。馬延輝，資深Hadoop技術專家，北京科技大學碩士，對Hadoop生態(tài)系統(tǒng)相關技術有深刻的理解，在Hadoop開發(fā)和運維方面積累了豐富的經驗。曾就職于淘寶、Answers.com、暴風等互聯網公司，從事Hadoop相關的研發(fā)和運維工作，對大數據技術的企業(yè)級落地、研發(fā)、運維和管理方面有著深刻理解和豐富的實戰(zhàn)經驗。開源HBase監(jiān)控工具Ella作者。在國內Hadoop社區(qū)內非?；钴S，經常在各種會議和沙龍上做技術分享，深受歡迎?，F在致力于大數據技術在傳統(tǒng)行業(yè)的落地，致力于大數據技術的普及和推廣。

圖書目錄

譯者序 v
序 xiii
前言 x
第1章認識Apache Hadoop和Apache HBase 1
分布式文件系統(tǒng)HDFS 1
HDFS 的數據格式 3
處理HDFS 中的數據 4
Apache HBase 4
總結 5
參考文獻 6
第2 章用Apache Flume 處理流數據 7
我們需要Flume 7
Flume 是否適合呢？ 9
Flume Agent 內部原理 10
配置Flume Agent 13
Flume Agent 之間的相互通信 17
復雜的流 17
復制數據到不同目的地 20
動態(tài)路由 21
Flume 的數據丟失保證，Channel 和事務 22
Flume Channel 中的事務 23
Agent 失敗和數據丟失 25
批量的重要性 26
重復怎么樣？ 27
運行Flume Agent 27
總結 29
參考文獻 30
第3 章源（Source） 31
Source 的生命周期 31
Sink-to-Source 通信 33
Avro Source 34
Thrift Source 37
RPC Sources 的失敗處理 39
HTTP Source 40
針對HTTP Source 寫處理程序* 42
Spooling Directory Source 47
使用Deserializers 讀取自定義格式* 50
Spooling Directory Source 性能55
Syslog Source 55
Exec Source 59
JMS Source 61
轉換JMS 消息為Flume 事件* 63
編寫自定義Source* 65
Event-Driven Source 和Pollable Source 66
總結 73
參考文獻 73
第4 章 Channel 75
事務工作流 76
Flume 自帶的Channel 78
Memory Channel 78
File Channel 80
總結 86
參考文獻 86
第5 章 Sink 87
Sink 的生命周期 88
優(yōu)化Sink 的性能 89
寫入到HDFS ：HDFS Sink 89
理解Bucket 90
配置HDFS Sink 93
使用序列化器控制數據格式* 100
HBase Sink 106
用序列化器將Flume 事件轉換成HBase Put 和Increment* 108
RPC Sink 113
Avro Sink 113
Thrift Sink 115
Morphline Solr Sink 116
Elastic Search Sink 119
自定義數據格式* 121
其他Sink ：Null Sink、Rolling File Sink 和Logger Sink 124
編寫自定義Sink* 125
總結 129
參考文獻 129
第6章攔截器、Channel選擇器、Sink組和Sink處理器 131
攔截器 131
時間戳攔截器 132
主機攔截器 133
靜態(tài)攔截器 133
正則過濾攔截器 134
Morphline 攔截器 135
UUID 攔截器 136
編寫攔截器* 137
Channel 選擇器 140
復制Channel 選擇器 140
多路復用Channel 選擇器 141
自定義Channel 選擇器* 144
Sink 組和Sink 處理器 146
Load-Balancing Sink 處理器 148
Failover Sink 處理器 151
總結 153
參考文獻 154
第7 章發(fā)送數據到Flume* 155
構建Flume 事件 155
Flume 客戶端SDK 156
創(chuàng)建Flume RPC 客戶端 157
RPC 客戶端接口 157
所有RPC 客戶端的公共配置參數 158
默認RPC 客戶端 165
Load-Balancing RPC 客戶端 168
Failover RPC 客戶端 171
Thrift RPC 客戶端 172
嵌入式Agent 173
配置嵌入式Agent 175
log4j Appender 180
Load-Balancing log4j Appender 181
總結 182
參考文獻 183
第8 章規(guī)劃、部署和監(jiān)控Flume 185
規(guī)劃一個Flume 部署 185
修復時間 185
我的Flume Channel 需要多少容量？ 186
多少層？ 186
通過跨數據中心鏈接發(fā)送數據 188
層分片 190
部署Flume 191
部署自定義代碼 191
監(jiān)控Flume 193
從自定義組件報告度量 196
總結 196
參考文獻 196
索引 197