RocketMQ實(shí)戰(zhàn)與原理解析

推薦序
前言
第1章　快速入門1
1.1　消息隊(duì)列功能介紹1
1.1.1　應(yīng)用解耦1
1.1.2　流量消峰2
1.1.3　消息分發(fā)3
1.2　RocketMQ簡(jiǎn)介4
1.3　快速上手RocketMQ4
1.3.1　RocketMQ的下載、安裝和配置 5
1.3.2　啟動(dòng)消息隊(duì)列服務(wù)6
1.3.3　用命令行發(fā)送和接收消息6
1.3.4　關(guān)閉消息隊(duì)列6
1.4　本章小結(jié)7
第2章　生產(chǎn)環(huán)境下的配置和使用8
2.1　RocketMQ各部分角色介紹8
2.2　多機(jī)集群配置和部署9
2.2.1　啟動(dòng)多個(gè)NameServer和Broker10
2.2.2　配置參數(shù)介紹11
2.3　發(fā)送/接收消息示例13
2.4　常用管理命令15
2.5　通過(guò)圖形界面管理集群21
2.6　本章小結(jié)22
第3章　用適合的方式發(fā)送和接收消息23
3.1　不同類型的消費(fèi)者23
3.1.1　DefaultMQPushConsumer的使用23
3.1.2　DefaultMQPushConsumer的處理流程25
3.1.3　DefaultMQPushConsumer的流量控制28
3.1.4　DefaultMQPullConsumer30
3.1.5　Consumer的啟動(dòng)、關(guān)閉流程32
3.2　不同類型的生產(chǎn)者33
3.2.1　DefaultMQProducer 34
3.2.2　發(fā)送延遲消息36
3.2.3　自定義消息發(fā)送規(guī)則36
3.2.4　對(duì)事務(wù)的支持37
3.3　如何存儲(chǔ)隊(duì)列位置信息38
3.4　自定義日志輸出42
3.5　本章小結(jié)44
第4章　分布式消息隊(duì)列的協(xié)調(diào)者45
4.1　NameServer的功能45
4.1.1　集群狀態(tài)的存儲(chǔ)結(jié)構(gòu)46
4.1.2　狀態(tài)維護(hù)邏輯47
4.2　各個(gè)角色間的交互流程48
4.2.1　交互流程源碼分析48
4.2.2　為何不用ZooKeeper50
4.3　底層通信機(jī)制50
4.3.1　Remoting模塊51
4.3.2　協(xié)議設(shè)計(jì)和編解碼54
4.3.3　Netty庫(kù)56
4.4　本章小結(jié)56
第5章　消息隊(duì)列的核心機(jī)制57
5.1　消息存儲(chǔ)和發(fā)送57
5.2　消息存儲(chǔ)結(jié)構(gòu)58
5.3　高可用性機(jī)制60
5.4　同步刷盤和異步刷盤61
5.5　同步復(fù)制和異步復(fù)制62
5.6　本章小結(jié)63
第6章　可靠性優(yōu)先的使用場(chǎng)景64
6.1　順序消息64
6.1.1　全局順序消息64
6.1.2　部分順序消息65
6.2　消息重復(fù)問(wèn)題67
6.3　動(dòng)態(tài)增減機(jī)器67
6.3.1　動(dòng)態(tài)增減NameServer67
6.3.2　動(dòng)態(tài)增減Broker69
6.4　各種故障對(duì)消息的影響70
6.5　消息優(yōu)先級(jí)72
6.6　本章小結(jié)73
第7章　吞吐量?jī)?yōu)先的使用場(chǎng)景74
7.1　在Broker端進(jìn)行消息過(guò)濾74
7.1.1　消息的Tag和Key74
7.1.2　通過(guò)Tag進(jìn)行過(guò)濾75
7.1.3　用SQL表達(dá)式的方式進(jìn)行過(guò)濾75
7.1.4　Filter Server方式過(guò)濾77
7.2　提高Consumer處理能力78
7.3　Consumer的負(fù)載均衡80
7.3.1　DefaultMQPushConsumer的負(fù)載均衡80
7.3.2　DefaultMQPullConsumer的負(fù)載均衡81
7.4　提高Producer的發(fā)送速度83
7.5　系統(tǒng)性能調(diào)優(yōu)的一般流程85
7.6　本章小結(jié)87
第8章　和其他系統(tǒng)交互88
8.1　在SpringBoot中使用RocketMQ88
8.1.1　直接使用88
8.1.2　通過(guò)Spring Messaging方式使用90
8.2　直接使用云上RocketMQ91
8.3　RocketMQ與Spark、Flink對(duì)接93
8.4　自定義開發(fā)運(yùn)維工具93
8.4.1　開源版本運(yùn)維工具功能介紹94
8.4.2　基于Tools模塊開發(fā)自定義運(yùn)維工具95
8.5　本章小結(jié)96
第9章　首個(gè)Apache中間件頂級(jí)項(xiàng)目97
9.1　RocketMQ的前世今生97
9.2　Apache頂級(jí)項(xiàng)目（TLP）之路98
9.3　源碼結(jié)構(gòu)99
9.4　不斷迭代的代碼100
9.5　本章小結(jié)102
第10章　NameServer源碼解析103
10.1　模塊入口代碼的功能103
10.1.1　入口函數(shù)103
10.1.2　解析命令行參數(shù)104
10.1.3　初始化NameServer的Controller105
10.2　NameServer的總控邏輯106
10.3　核心業(yè)務(wù)邏輯處理107
10.4　集群狀態(tài)存儲(chǔ)109
10.5　本章小結(jié)111
第11章　最常用的消費(fèi)類112
11.1　整體流程112
11.1.1　上層接口類112
11.1.2　DefaultMQPushConsumer的實(shí)現(xiàn)者114
11.1.3　獲取消息邏輯116
11.2　消息的并發(fā)處理118
11.2.1　并發(fā)處理過(guò)程118
11.2.2　ProcessQueue對(duì)象121
11.3　生產(chǎn)者消費(fèi)者的底層類122
11.3.1　MQClientInstance類的創(chuàng)建規(guī)則122
11.3.2　MQClientInstance類的功能124
11.4　本章小結(jié)127
第12章　主從同步機(jī)制128
12.1　同步屬性信息128
12.2　同步消息體130
12.3　sync_master和async_master132
12.4　本章小結(jié)134
第13章　基于Netty的通信實(shí)現(xiàn)135
13.1　Netty介紹135
13.2　Netty架構(gòu)總覽136
13.2.1　重新實(shí)現(xiàn)ByteBuffer136
13.2.2　統(tǒng)一的異步 I/O接口137
13.2.3　基于攔截鏈模式的事件模型138
13.2.4　高級(jí)組件139
13.3　Netty用法示例140
13.3.1　Discard服務(wù)器140
13.3.2　查看收到的數(shù)據(jù)144
13.4　RocketMQ基于Netty的通信功能實(shí)現(xiàn)145
13.4.1　頂層抽象類145
13.4.2　自定義協(xié)議148
13.4.3　基于Netty的Server和Client151
13.5　本章小結(jié)152