分布式實時計算框架原理及實踐案例

定　價：￥79.00

作　者：	王成光
出版社：	電子工業(yè)出版社
叢編項：
標　簽：	暫缺

購買這本書可以去

ISBN：	9787121296208	出版時間：	2016-09-01	包裝：
開本：	16開	頁數(shù)：	292	字數(shù)：

內(nèi)容簡介

　　“授人以魚不如授人以漁”，《分布式實時計算框架原理及實踐案例》是作者以如此初心寫成的，主要參考當前主流分布式實時計算框架Storm的任務分發(fā)和Spark Streaming的Mini-Batch設計思想，以及底層實現(xiàn)技術，開源了作者自研的輕量級分布式實時計算框架——Light_drtc，并且重點介紹設計思想和相關實現(xiàn)技術（Kafka/RabbitMQ、Redis/SSDB 、GuavaCache、MongoDB、HBase、ES／SolrCloud、Thrift、Avro、Jetty），最后從工程角度向大家介紹完整的個性化推薦系統(tǒng)，并實例介紹Light_drtc在用戶畫像實時更新的應用?！斗植际綄崟r計算框架原理及實踐案例》描述淺顯易懂，希望讀者理解分布式實時計算的實現(xiàn)原理，并快速上手解決實際問題。

作者簡介

　　王成光，目前任職一點資訊研發(fā)架構師，碩士畢業(yè)8年，曾先后任職窩窩團、優(yōu)購、搜狐、網(wǎng)易等架構師、技術專家職位，專注于搜索、推薦、數(shù)據(jù)挖掘領域研發(fā)工作，涉足技術范圍：搜索：ES／SolrCloud分布式計算：Hadoop、Storm和SparkMQ： Kafka、RabbitMQ、ActiveMQ、ZeroMQNoSQL： Reids/SSDB、Mongo3.0、HBase1.0、AeroSpikeSOA微服務： RPC和Web Service

圖書目錄

第1 章分布式實時計算框架介紹.1
1.1 分布式計算Hadoop.1
1.2 分布式實時計算........3
1.2.1 Spark Streaming..3
1.2.2 Storm .......6
1.2.3 其他框架.8
1.3 為什么自研......8
1.4 總結......10
第2 章 light_drtc 簡介及使用說明......... 11
2.1 light_drtc 框架簡介 11
2.2 light_drtc 代碼結構12
2.3 light_drtc 重要配置項.......14
2.4 light_drtc 和Storm 比較...15
2.5 light_drtc 使用說明16
2.5.1 ACN（AN 和CN 整合）作為獨立服務....16
2.5.2 CN、AN 作為獨立服務........20
2.5.3 任務計算JN.....23
2.6 總結......26
第3 章 light_drtc 核心技術實現(xiàn)...27
3.1 light_drtc 技術架構27
3.2 light_drtc 計算框架設計思想....30
3.2.1 CN 設計思想....30
3.2.2 AN 多主模式設計思想..........31
3.2.3 JN 設計思想.....34
3.3 light_drtc 核心技術的實現(xiàn).........36
3.3.1 實時收集數(shù)據(jù)CN.......36
3.3.2 任務協(xié)調管理AN.......40
3.3.3 任務計算JN.....49
3.4 總結......50
第4 章消息隊列MQ.51
4.1 消息隊列使用場景.51
4.2 消息隊列原理..........53
4.2.1 MQ 使用流程...53
4.2.2 MQ 基本概念...54
4.2.3 MQ 通信模式...55
4.2.4 目前知名MQ 比較.....56
4.3 MQ 消費狀態(tài)監(jiān)控..61
4.3.1 KafkaOffsetMonitor 介紹.......62
4.3.2 KafkaOffsetMonitor 部署.......62
4.4 RabbitMQ 和Kafka 的基本使用.........64
4.4.1 RabbitMQ 讀寫實例...64
4.4.2 Kafka 讀寫實例68
4.5 總結......71
第5 章內(nèi)存數(shù)據(jù)庫Redis3.0 及SSDB..........72
5.1 Redis 相關介紹........72
5.1.1 Redis3.0 集群架構......73
5.1.2 Redis3.0 集群選舉與容錯......74
5.1.3 SSDB 簡介.......75
5.2 Redis3.0 集群搭建..76
5.2.1 集群所依賴的Ruby 環(huán)境......77
5.2.2 Redis 集群創(chuàng)建77
5.2.3 Redis 集群驗證78
5.2.4 SSDB 簡單部署..........79
5.3 Redis 管理及使用...81
5.3.1 Redis 基本使用81
5.3.2 Redis 管理........83
5.4 Redis 客戶端應用...86
5.4.1 Redis3.0 客戶端..........86
5.4.2 SSDB 客戶端...89
5.5 本地緩存Guava Cache.....90
5.5.1 認識Guava Cache .......90
5.5.2 Guava Cache 使用.......91
5.5.3 Java 客戶端使用.........94
5.6 總結......97
第6 章 NoSQL：MongoDB3.0 和HBase1.0 .........98
6.1 MongoDB3.0 和HBase1.0 新特性......99
6.1.1 MongoDB3.0 新特性..99
6.1.2 HBase1.0 新特性.......102
6.1.3 MongoDB 和HBase 比較....104
6.2 MongoDB3.0 集群和索引........105
6.2.1 MongoDB3.0 集群....105
6.2.2 Mongo 索引介紹.......107
6.3 HBase 底層實現(xiàn)介紹......108
6.3.1 HBase 相關Hadoop 體系....108
6.3.2 HBase 系統(tǒng)架構........ 110
6.4 Mongo 和HBase 客戶端使用. 113
6.4.1 Mongo 客戶端 113
6.4.2 HBase 客戶端. 119
6.5 總結.....124
第7 章全文檢索：ElasticSearch2.x..125
7.1 認識ElasticSearch 和Solr........125
7.1.1 ElasticSearch 和Solr 基本介紹......125
7.1.2 ES 基本概念...127
7.1.3 ES 和SolrCloud 集群結構...129
7.1.4 ES 使用案例...130
7.2 ES 和Solr 比較分析.......131
7.2.1 ES 和Solr 發(fā)展比較.131
7.2.2 ES 和Solr 綜合比較.132
7.3 ES 集群介紹135
7.3.1 插件安裝........135
7.3.2 中文分詞安裝136
7.3.3 ES2.X 集群節(jié)點類型138
7.3.4 ES 配置事項...142
7.4 ES 客戶端使用......144
7.4.1 ES 客戶端連接..........145
7.4.2 ES 基本操作...146
7.4.3 ES 高級使用...150
7.5 ES 在自研框架中的作用..........154
7.6 總結.....155
第8 章微服務架構通信——RPC 和Web Service ........156
8.1 微服務架構由來....156
8.1.1 微服務與SOA 比較..157
8.1.2 微服務架構的優(yōu)缺點159
8.1.3 微服務雪崩效應的防范.......161
8.2 RPC 介紹及實踐...163
8.2.1 Thrift/Nifty 介紹........163
8.2.2 Avro 介紹.......168
8.2.3 Dubbo/Dubbox 介紹..180
8.2.4 GRPC/ProtoBuf 介紹185
8.2.5 ZeroC ICE.......191
8.3 Web Service 介紹及實踐..........199
8.3.1 SOAP 和Rest .200
8.3.2 JWS（JDK 自身實現(xiàn)Web Service）........202
8.3.3 Jetty：嵌入式Servlet 容器..204
8.3.4 基于Spring MVC......206
8.3.5 其他Web Service 框架........ 211
8.4 總結.....212
第9 章綜合實例：新聞推薦中的用戶畫像近實時更新213
9.1 個性化推薦系統(tǒng)組成.....213
9.1.1 用戶行為收集214
9.1.2 行為日志解析216
9.1.3 常用推薦算法221
9.1.4 用戶畫像數(shù)據(jù)倉庫...245
9.1.5 元數(shù)據(jù)索引庫247
9.1.6 用戶推薦服務248
9.2 新聞推薦中用戶畫像近實時更新設計......248
9.2.1 新聞推薦中用戶畫像構成...250
9.2.2 新聞推薦中用戶畫像標簽數(shù)據(jù)字典.........251
9.2.3 新聞推薦用戶畫像實時更新流程..257
9.3 新聞推薦用戶畫像近實時更新技術實現(xiàn)..260
9.3.1 Storm 接入Kafka 實時計算實例...260
9.3.2 Spark Streaming 接入Kafka 實時計算實例........265
9.3.3 Light_drtc 接入Kafka..........270
9.3.4 用戶畫像實時更新核心實現(xiàn)..........270
9.4 總結.....280