云原生分布式存儲(chǔ)基石：etcd深入解析

前言
第一部分　基礎(chǔ)篇
第1章　分布式系統(tǒng)與一致性協(xié)議2
1.1　CAP原理3
1.2　一致性5
1.2.1　一致性模型7
1.2.2　一致性模型分述9
1.2.3　復(fù)制狀態(tài)機(jī)16
1.2.4　拜占庭將軍問(wèn)題18
1.2.5　FLP不可能性19
1.2.6　小結(jié)21
1.3　Paxos協(xié)議22
1.4　Raft協(xié)議：為可理解性而生24
1.4.1　Raft一致性算法26
1.4.2　可用性與時(shí)序45
1.4.3　異常情況46
1.4.4　日志壓縮與快照52
1.4.5　Raft算法性能評(píng)估56
1.4.6　小結(jié)58
第二部分　實(shí)戰(zhàn)篇
第2章　為什么使用etcd62
2.1　etcd是什么64
2.2　etcd架構(gòu)簡(jiǎn)介66
2.2.1　etcd數(shù)據(jù)通道69
2.2.2　etcd架構(gòu)71
2.3　etcd典型應(yīng)用場(chǎng)景舉例72
2.3.1　服務(wù)注冊(cè)與發(fā)現(xiàn)72
2.3.2　消息發(fā)布和訂閱75
2.3.3　負(fù)載均衡76
2.3.4　分布式通知與協(xié)調(diào)77
2.3.5　分布式鎖78
2.3.6　分布式隊(duì)列80
2.3.7　集群監(jiān)控與Leader競(jìng)選81
2.3.8　小結(jié)82
2.4　etcd性能測(cè)試82
2.4.1　etcd讀性能82
2.4.2　etcd寫性能83
2.5　etcd與其他鍵值存儲(chǔ)系統(tǒng)的對(duì)比84
2.5.1　ZooKeeper VS etcd85
2.5.2　Consul VS etcd88
2.5.3　NewSQL（Cloud Spanner、CockroachDB、TiDB）VS etcd88
2.5.4　使用etcd做分布式協(xié)同89
2.5.5　小結(jié)90
2.6　使用etcd的項(xiàng)目90
2.7　etcd概念詞匯表91
2.8　etcd發(fā)展里程碑92
2.8.1　etcd 0.4版本93
2.8.2　etcd 2.0版本93
2.8.3　etcd 3.0版本93
第3章　etcd初體驗(yàn)95
3.1　單機(jī)部署95
3.1.1　單實(shí)例etcd95
3.1.2　多實(shí)例etcd98
3.2　多節(jié)點(diǎn)集群化部署100
3.2.1　靜態(tài)配置101
3.2.2　服務(wù)發(fā)現(xiàn)104
3.3　etcdctl常用命令行107
3.3.1　key的常規(guī)操作107
3.3.2　key的歷史與watch112
3.3.3　租約115
3.4　etcd常用配置參數(shù)117
3.4.1　member相關(guān)參數(shù)項(xiàng)117
3.4.2　cluster相關(guān)參數(shù)項(xiàng)118
3.4.3　proxy相關(guān)參數(shù)項(xiàng)120
3.4.4　安全相關(guān)參數(shù)項(xiàng)120
3.4.5　日志相關(guān)參數(shù)項(xiàng)121
3.4.6　不安全參數(shù)項(xiàng)121
3.4.7　統(tǒng)計(jì)相關(guān)參數(shù)項(xiàng)122
3.4.8　認(rèn)證相關(guān)參數(shù)項(xiàng)122
第4章　etcd開(kāi)放API之v2123
4.1　API保證124
4.2　etcd v2 API126
4.2.1　集群管理API126
4.2.2　鍵值A(chǔ)PI126
4.2.3　鍵的TTL130
4.2.4　等待變化通知：watch134
4.2.5　自動(dòng)創(chuàng)建有序key146
4.2.6　目錄TTL148
4.2.7　原子的CAS149
4.2.8　原子的CAD151
4.2.9　創(chuàng)建目錄153
4.2.10　羅列目錄154
4.2.11　刪除目錄156
4.2.12　獲取一個(gè)隱藏節(jié)點(diǎn)157
4.2.13　通過(guò)文件設(shè)置key158
4.2.14　線性讀158
4.3　統(tǒng)計(jì)數(shù)據(jù)158
4.3.1　Leader數(shù)據(jù)159
4.3.2　節(jié)點(diǎn)自身的數(shù)據(jù)160
4.3.3　更多統(tǒng)計(jì)數(shù)據(jù)161
4.4　member API162
4.4.1　List member162
4.4.2　加入一個(gè)member163
4.4.3　刪除一個(gè)member163
4.4.4　修改member的peer URL164
第5章　etcd開(kāi)放API之v3165
5.1　從etcd v2到etcd v3166
5.1.1　gRPC167
5.1.2　序列化和反序列化優(yōu)化167
5.1.3　減少TCP連接167
5.1.4　租約機(jī)制167
5.1.5　etcd v3的觀察者模式168
5.1.6　etcd v3的數(shù)據(jù)存儲(chǔ)模型169
5.1.7　etcd v3的迷你事務(wù)170
5.1.8　快照171
5.1.9　大規(guī)模watch171
5.2　gRPC服務(wù)172
5.3　請(qǐng)求和響應(yīng)174
5.4　KV API176
5.4.1　鍵值對(duì)176
5.4.2　revision177
5.4.3　鍵區(qū)間178
5.4.4　Range API178
5.4.5　PUT調(diào)用181
5.4.6　事務(wù)182
5.4.7　Compact調(diào)用186
5.5　watch API186
5.5.1　Event187
5.5.2　流式watch187
5.6　Lease API190
5.6.1　獲得租約190
5.6.2　Keep Alives192
5.7　API使用示例192
第6章　etcd集群運(yùn)維與穩(wěn)定性195
6.1　etcd升級(jí)195
6.1.1　etcd從2.3升級(jí)到3.0195
6.1.2　etcd從3.0升級(jí)到3.1199
6.2　從etcd v2切換到v3202
6.2.1　切換客戶端代碼202
6.2.2　數(shù)據(jù)遷移203
6.3　運(yùn)行時(shí)重配置204
6.3.1　兩階段配置更新保證集群安全205
6.3.2　永久性失去半數(shù)以上member206
6.4　參數(shù)調(diào)優(yōu)207
6.4.1　時(shí)間參數(shù)207
6.4.2　快照208
6.4.3　磁盤209
6.4.4　網(wǎng)絡(luò)209
6.5　監(jiān)控209
6.6　維護(hù)210
6.6.1　壓縮歷史版本210
6.6.2　消除碎片化211
6.6.3　存儲(chǔ)配額211
6.6.4　快照備份213
6.7　災(zāi)難恢復(fù)213
6.7.1　快照214
6.7.2　恢復(fù)集群214
6.8　etcd網(wǎng)關(guān)215
6.8.1　什么時(shí)候使用etcd網(wǎng)關(guān)216
6.8.2　什么時(shí)候不該使用etcd網(wǎng)關(guān)216
6.8.3　啟動(dòng)etcd網(wǎng)關(guān)217
6.9　gRPC代理217
6.9.1　可擴(kuò)展的watch API218
6.9.2　限制219
6.9.3　可擴(kuò)展的帶租約的API219
6.9.4　服務(wù)端保護(hù)220
6.9.5　啟動(dòng)gRPC代理220
6.9.6　客戶端節(jié)點(diǎn)同步和域名解析221
6.9.7　名字空間222
6.10　故障恢復(fù)223
6.10.1　小部分從節(jié)點(diǎn)故障223
6.10.2　主節(jié)點(diǎn)故障224
6.10.3　大部分節(jié)點(diǎn)故障224
6.10.4　網(wǎng)絡(luò)分區(qū)224
6.10.5　集群?jiǎn)?dòng)異常225
6.11　硬件225
第7章　etcd安全231
7.1　訪問(wèn)安全231
7.1.1　權(quán)限資源232
7.1.2　鍵值資源234
7.1.3　配置資源234
7.2　etcd訪問(wèn)控制實(shí)踐235
7.2.1　User相關(guān)命令235
7.2.2　Role相關(guān)命令236
7.2.3　啟用用戶權(quán)限功能237
7.3　傳輸安全238
7.3.1　TLS/SSL工作原理239
7.3.2　使用TLS加密etcd通信241
7.3.