Flume：構(gòu)建高可用、可擴展的海量日志采集系統(tǒng)

定　價：￥69.00

作　者：	[美] Hari Shreedharan（哈里·史瑞德哈倫）著；馬延輝，史東杰譯
出版社：	電子工業(yè)出版社
叢編項：
標(biāo)　簽：	計算機/網(wǎng)絡(luò) 軟件工程/開發(fā)項目管理

購買這本書可以去

ISBN：	9787121265587	出版時間：	2015-08-01	包裝：	平裝
開本：	16開	頁數(shù)：	232	字?jǐn)?shù)：

內(nèi)容簡介

　　《Flume：構(gòu)建高可用、可擴展的海量日志采集系統(tǒng)》從Flume 的基本概念和設(shè)計原理開始講解，分別介紹了不同種類的組件、如何配置組件、如何運行Flume Agent 等。同時，分別討論Source、Channel 和Sink 三種核心組件，不僅僅闡述每個組件的基本概念，而且結(jié)合實際的編程案例，深入、全面地介紹每個組件的詳細(xì)用法，并且這部分內(nèi)容也是整個Flume 框架的重中之重。之后，講解攔截器、Channel選擇器、Sink 組和Sink 處理器等內(nèi)容，它們?yōu)镕lume 提供靈活的擴展支持。最后，介紹了Flume 的高級使用，如何使用Flume 軟件開發(fā)工具集（SDK）和Embedded Agent API，如何設(shè)計、部署和監(jiān)控Flume 生產(chǎn)集群?？偠灾禙lume：構(gòu)建高可用、可擴展的海量日志采集系統(tǒng)》是一本理論結(jié)合實戰(zhàn)，深度、廣度兼?zhèn)涞暮Ａ咳罩静杉到y(tǒng)的著作。

作者簡介

　　Hari Shreedharan，是Cloudera的一名軟件工程師，他工作于Apache Spark、Apache Flume和Apache Sqoop。他也是Flume項目的一個提交者和PMC成員，幫助項目的方向做決定。馬延輝，資深Hadoop技術(shù)專家，北京科技大學(xué)碩士，對Hadoop生態(tài)系統(tǒng)相關(guān)技術(shù)有深刻的理解，在Hadoop開發(fā)和運維方面積累了豐富的經(jīng)驗。曾就職于淘寶、Answers.com、暴風(fēng)等互聯(lián)網(wǎng)公司，從事Hadoop相關(guān)的研發(fā)和運維工作，對大數(shù)據(jù)技術(shù)的企業(yè)級落地、研發(fā)、運維和管理方面有著深刻理解和豐富的實戰(zhàn)經(jīng)驗。開源HBase監(jiān)控工具Ella作者。在國內(nèi)Hadoop社區(qū)內(nèi)非?；钴S，經(jīng)常在各種會議和沙龍上做技術(shù)分享，深受歡迎?，F(xiàn)在致力于大數(shù)據(jù)技術(shù)在傳統(tǒng)行業(yè)的落地，致力于大數(shù)據(jù)技術(shù)的普及和推廣。

圖書目錄

譯者序 v
序 xiii
前言 x
第1章認(rèn)識Apache Hadoop和Apache HBase 1
分布式文件系統(tǒng)HDFS 1
HDFS 的數(shù)據(jù)格式 3
處理HDFS 中的數(shù)據(jù) 4
Apache HBase 4
總結(jié) 5
參考文獻 6
第2 章用Apache Flume 處理流數(shù)據(jù) 7
我們需要Flume 7
Flume 是否適合呢？ 9
Flume Agent 內(nèi)部原理 10
配置Flume Agent 13
Flume Agent 之間的相互通信 17
復(fù)雜的流 17
復(fù)制數(shù)據(jù)到不同目的地 20
動態(tài)路由 21
Flume 的數(shù)據(jù)丟失保證，Channel 和事務(wù) 22
Flume Channel 中的事務(wù) 23
Agent 失敗和數(shù)據(jù)丟失 25
批量的重要性 26
重復(fù)怎么樣？ 27
運行Flume Agent 27
總結(jié) 29
參考文獻 30
第3 章源（Source） 31
Source 的生命周期 31
Sink-to-Source 通信 33
Avro Source 34
Thrift Source 37
RPC Sources 的失敗處理 39
HTTP Source 40
針對HTTP Source 寫處理程序* 42
Spooling Directory Source 47
使用Deserializers 讀取自定義格式* 50
Spooling Directory Source 性能55
Syslog Source 55
Exec Source 59
JMS Source 61
轉(zhuǎn)換JMS 消息為Flume 事件* 63
編寫自定義Source* 65
Event-Driven Source 和Pollable Source 66
總結(jié) 73
參考文獻 73
第4 章 Channel 75
事務(wù)工作流 76
Flume 自帶的Channel 78
Memory Channel 78
File Channel 80
總結(jié) 86
參考文獻 86
第5 章 Sink 87
Sink 的生命周期 88
優(yōu)化Sink 的性能 89
寫入到HDFS ：HDFS Sink 89
理解Bucket 90
配置HDFS Sink 93
使用序列化器控制數(shù)據(jù)格式* 100
HBase Sink 106
用序列化器將Flume 事件轉(zhuǎn)換成HBase Put 和Increment* 108
RPC Sink 113
Avro Sink 113
Thrift Sink 115
Morphline Solr Sink 116
Elastic Search Sink 119
自定義數(shù)據(jù)格式* 121
其他Sink ：Null Sink、Rolling File Sink 和Logger Sink 124
編寫自定義Sink* 125
總結(jié) 129
參考文獻 129
第6章攔截器、Channel選擇器、Sink組和Sink處理器 131
攔截器 131
時間戳攔截器 132
主機攔截器 133
靜態(tài)攔截器 133
正則過濾攔截器 134
Morphline 攔截器 135
UUID 攔截器 136
編寫攔截器* 137
Channel 選擇器 140
復(fù)制Channel 選擇器 140
多路復(fù)用Channel 選擇器 141
自定義Channel 選擇器* 144
Sink 組和Sink 處理器 146
Load-Balancing Sink 處理器 148
Failover Sink 處理器 151
總結(jié) 153
參考文獻 154
第7 章發(fā)送數(shù)據(jù)到Flume* 155
構(gòu)建Flume 事件 155
Flume 客戶端SDK 156
創(chuàng)建Flume RPC 客戶端 157
RPC 客戶端接口 157
所有RPC 客戶端的公共配置參數(shù) 158
默認(rèn)RPC 客戶端 165
Load-Balancing RPC 客戶端 168
Failover RPC 客戶端 171
Thrift RPC 客戶端 172
嵌入式Agent 173
配置嵌入式Agent 175
log4j Appender 180
Load-Balancing log4j Appender 181
總結(jié) 182
參考文獻 183
第8 章規(guī)劃、部署和監(jiān)控Flume 185
規(guī)劃一個Flume 部署 185
修復(fù)時間 185
我的Flume Channel 需要多少容量？ 186
多少層？ 186
通過跨數(shù)據(jù)中心鏈接發(fā)送數(shù)據(jù) 188
層分片 190
部署Flume 191
部署自定義代碼 191
監(jiān)控Flume 193
從自定義組件報告度量 196
總結(jié) 196
參考文獻 196
索引 197