數(shù)據(jù)浪潮：大數(shù)據(jù)技術(shù)演進之路

第 1篇　數(shù)據(jù)管理系統(tǒng)之?dāng)?shù)據(jù)庫——掌上明珠

第 1章　數(shù)據(jù)庫的誕生——“圖靈”獎經(jīng)典人物 3
1.1　網(wǎng)狀數(shù)據(jù)管理系統(tǒng) 4
1.2　關(guān)系數(shù)據(jù)庫模型 6
1.3　數(shù)據(jù)庫并發(fā)與事務(wù) 8
1.4　數(shù)據(jù)庫優(yōu)化與實踐 10
1.5　小結(jié) 13
1.6　參考資料 13
第 2章　數(shù)據(jù)庫的工業(yè)繁榮——商業(yè)機遇 14
2.1　System R 14
2.2　PostgreSQL 16
2.3　Oracle 18
2.4　MySQL 20
2.5　IBM Db2 23
2.6　SQL Server 27
2.7　小結(jié) 29
2.8　參考資料 30
第3章　國產(chǎn)數(shù)據(jù)庫的熱潮——四大家族 31
3.1　人大金倉 31
3.2　南大通用 32
3.3　武漢達夢 32
3.4　神舟通用 33
3.5　小結(jié) 34
3.6　參考資料 35

第 2篇　數(shù)據(jù)管理系統(tǒng)之大數(shù)據(jù)——異軍突起

第4章　大數(shù)據(jù)降臨——生逢其時 39
4.1　Google的“三駕馬車” 39
4.1.1　GFS 40
4.1.2　MapReduce系統(tǒng) 41
4.1.3　Bigtable系統(tǒng) 42
4.2　Amazon的“云上時代” 43
4.3　Facebook的“社交帝國” 44
4.4　LinkedIn的“職業(yè)搖籃” 46
4.5　學(xué)術(shù)界的徘徊輾轉(zhuǎn) 48
4.6　小結(jié) 49
4.7　參考資料 49
第5章　大數(shù)據(jù)分布式系統(tǒng)——高潮迭起 50
5.1　容錯內(nèi)存迭代式計算 50
5.2　實時流式大數(shù)據(jù)計算 52
5.2.1　Storm系統(tǒng) 52
5.2.2　Flink系統(tǒng) 53
5.3　大規(guī)模機器學(xué)習(xí)系統(tǒng) 54
5.4　數(shù)據(jù)中心的資源管理 56
5.5　全球分布式數(shù)據(jù)服務(wù) 58
5.6　小結(jié) 59
5.7　參考資料 59
第6章　開源整合架構(gòu)演進——融會貫通 60
6.1　鏈家架構(gòu)演進 60
6.1.1　大數(shù)據(jù)平臺架構(gòu)演進 60
6.1.2　日志平臺設(shè)計與技術(shù) 61
6.2　美團架構(gòu)演進 62
6.2.1　由淺入深架構(gòu)解析 62
6.2.2　基礎(chǔ)系統(tǒng)架構(gòu)演進 64
6.3　Airbnb架構(gòu)演進 65
6.3.1　大數(shù)據(jù)平臺架構(gòu)解析 65
6.3.2　平臺發(fā)展的經(jīng)驗和教訓(xùn) 66
6.4　58同城架構(gòu)演進 68
6.4.1　大數(shù)據(jù)三層平臺架構(gòu) 68
6.4.2　關(guān)鍵技術(shù)演進與實現(xiàn) 70
6.5　滴滴出行架構(gòu)演進 71
6.5.1　實時計算平臺架構(gòu)演進 71
6.5.2　實時計算平臺架構(gòu) 72
6.6　小米架構(gòu)演進 73
6.6.1　流式平臺整體架構(gòu) 73
6.6.2　3個階段的演進歷程 74
6.7　小結(jié) 77
6.8　參考資料 77
第7章　大數(shù)據(jù)的魅力——廣泛應(yīng)用 78
7.1　工業(yè)應(yīng)用 78
7.2　銀行金融 79
7.3　智慧城市 81
7.4　健康醫(yī)療 82
7.5　小結(jié) 83
7.6　參考資料 84

第3篇　大數(shù)據(jù)管理系統(tǒng)——誰主沉浮

第8章　數(shù)據(jù)庫與大數(shù)據(jù)之戰(zhàn)——華山論劍 87
8.1　ACM雙方論戰(zhàn) 87
8.2　MPP絕對優(yōu)勢 89
8.3　大數(shù)據(jù)強勢發(fā)展 91
8.4　數(shù)據(jù)庫自我革命 94
8.5　NewSQL兼容并包 96
8.6　老牌數(shù)據(jù)庫的反擊 99
8.7　小結(jié) 101
8.8　參考資料 102
第9章　大數(shù)據(jù)管理系統(tǒng)——求同存異 103
9.1　Hadoop生態(tài) 104
9.2　BDAS平臺 105
9.3　AsterixDB系統(tǒng) 106
9.4　Apache Beam框架 108
9.5　SnappyData模型 109
9.6　SageDB愿景 110
9.7　ShardingSphere項目 112
9.8　小結(jié) 114
9.9　參考資料 115
第 10章　新型數(shù)據(jù)管理系統(tǒng)——百花齊放 116
10.1　大數(shù)據(jù)輸入和輸出 116
10.2　大數(shù)據(jù)調(diào)度管控 119
10.3　大數(shù)據(jù)用戶交互 123
10.4　大數(shù)據(jù)安全隱私 124
10.5　大數(shù)據(jù)新型引擎 127
10.6　大數(shù)據(jù)通用語言 129
10.7　大數(shù)據(jù)網(wǎng)絡(luò)賦能 130
10.8　小結(jié) 134
10.9　參考資料 135
第 11章　國產(chǎn)數(shù)據(jù)庫的國際化——齊頭并進 137
11.1　TiDB 137
11.1.1　研發(fā)背景 137
11.1.2　早期架構(gòu) 138
11.1.3　架構(gòu)升級 139
11.1.4　穩(wěn)定架構(gòu) 140
11.2　OceanBase 142
11.2.1　設(shè)計考量 142
11.2.2　架構(gòu)演進 144
11.2.3　厚積薄發(fā) 150
11.3　TDSQL 150
11.3.1　分布式TDSQL 150
11.3.2　分析型TBase 152
11.3.3　云原生CynosDB 153
11.3.4　產(chǎn)品戰(zhàn)略統(tǒng)一 154
11.4　GaussDB 155
11.4.1　OLTP成長史 155
11.4.2　OLAP成長史 156
11.4.3　HTAP成長史 157
11.4.4　AI-Native成長史 157
11.5　Bigflow 158
11.6　ByteGraph 160
11.7　小結(jié) 163
11.8　參考資料 164

第4篇　大數(shù)據(jù)管理系統(tǒng)的架構(gòu)——路在何方

第 12章　高速電子計算機與大數(shù)據(jù)管理系統(tǒng)——萬法歸宗 167
12.1　以計算為中心的計算機 167
12.2　以存儲為中心的數(shù)據(jù)機 170
12.3　大數(shù)據(jù)管理的系統(tǒng)模型 172
12.4　數(shù)據(jù)管理系統(tǒng)的總結(jié)抽象 176
12.5　小結(jié) 178
12.6　參考資料 179
第 13章　無處不在的操作系統(tǒng)——歸納演繹 180
13.1　計算機的操作系統(tǒng) 180
13.2　數(shù)據(jù)管理系統(tǒng)的操作系統(tǒng) 184
13.3　數(shù)據(jù)中心的操作系統(tǒng) 185
13.4　資源抽象與應(yīng)用接口 189
13.5　小結(jié) 192
13.6　參考資料 192
第 14章　大數(shù)據(jù)管理系統(tǒng)的未來架構(gòu)——沙漠綠洲 194
14.1　大數(shù)據(jù)操作系統(tǒng) 195
14.1.1　數(shù)據(jù)輸入 197
14.1.2　數(shù)據(jù)存儲 198
14.1.3　數(shù)據(jù)計算 200
14.1.4　數(shù)據(jù)控制 201
14.1.5　數(shù)據(jù)輸出 202
14.2　自動化可插拔引擎 203
14.3　分布式彈性數(shù)據(jù)模型 203
14.4　易用抽象作業(yè)執(zhí)行框架 204
14.5　深度智能系統(tǒng)管理內(nèi)核 204
14.6　大數(shù)據(jù)管理系統(tǒng)biggy原型 204
14.7　小結(jié) 205
14.8　參考資料 206

第5篇　大數(shù)據(jù)管理系統(tǒng)的精髓——無上心法

第 15章　大數(shù)據(jù)管理系統(tǒng)的基礎(chǔ)——算法理論 209
15.1　存儲類算法 209
15.1.1　大數(shù)據(jù)LSM的優(yōu)勢 209
15.1.2　B -Tree與LSM-Tree對比 210
15.1.3　LSM的優(yōu)化算法 211
15.2　執(zhí)行器算法 212
15.2.1　Spark RDD中DAG的應(yīng)用 212
15.2.2　分布式數(shù)據(jù)庫的算子運算 213
15.2.3　大數(shù)據(jù)DAG與數(shù)據(jù)庫算子的異同 214
15.3　一致性算法 214
15.3.1　常見一致性算法簡介 214
15.3.2　Paxos算法進階深入 215
15.3.3　一致性的Consensus與Consistency 216
15.4　持久化算法 218
15.4.1　經(jīng)典的WAL 218
15.4.2　前沿的WBL 219
15.5　分布式算法 220
15.5.1　分布式P2P協(xié)議 220
15.5.2　一致性哈希算法 220
15.6　事務(wù)類算法 222
15.6.1　兩階段提交 222
15.6.2　三階段提交 223
15.7　分布式容錯機制 224
15.7.1　分布式系統(tǒng)容錯機制 225
15.7.2　數(shù)據(jù)庫系統(tǒng)容錯機制 227
15.7.3　工業(yè)實踐與學(xué)術(shù)創(chuàng)新 227
15.8　高并發(fā)控制機制 229
15.8.1　并發(fā)控制類別 229
15.8.2　并發(fā)控制實現(xiàn) 230
15.9　系統(tǒng)健壯性機制 232
15.10　小結(jié) 234
15.11　參考資料 234
第 16章　大數(shù)據(jù)管理系統(tǒng)的前沿——另辟蹊徑 236
16.1　數(shù)據(jù)上下文管理系統(tǒng)Ground 236
16.2　自治數(shù)據(jù)管理系統(tǒng)Peloton 239
16.3　分布式預(yù)測系統(tǒng)Clipper 240
16.4　數(shù)據(jù)管理中人的作用CrowdDB 241
16.5　新硬件帶來的變革doppioDB 242
16.6　端云協(xié)同實時數(shù)據(jù)庫Firebase 243
16.7　自組裝數(shù)據(jù)庫XuanYuan 245
16.8　數(shù)據(jù)治理新思路Tamr 248
16.9　系統(tǒng)性能調(diào)優(yōu)AITuning 249
16.10　小結(jié) 253
16.11　參考資料 253
第 17章　大數(shù)據(jù)管理系統(tǒng)的謎團——撥云見日 255
17.1　分布式機器學(xué)習(xí)與分布式數(shù)據(jù)庫 255
17.2　分布式一致性與數(shù)據(jù)庫一致性 257
17.3　可變的數(shù)據(jù)與不可變的數(shù)據(jù) 260
17.4　區(qū)塊鏈與數(shù)據(jù)庫的異同 261
17.5　NewSQL與OldSQL 263
17.6　云計算、邊緣計算與物聯(lián)網(wǎng) 266
17.7　大數(shù)據(jù)Java還是C/C 270
17.8　流數(shù)據(jù)與批處理的界線 270
17.9　分布式事務(wù)與遞增式時間 272
17.10　小結(jié) 273
17.11　參考資料 274
第 18章　大數(shù)據(jù)的標準——游戲規(guī)則 275
18.1　TPC標準測試 275
18.2　SQL通用語言 277
18.3　頂級學(xué)術(shù)會議 277
18.4　設(shè)計范式 279
18.5　流行趨勢 281
18.6　研究機構(gòu) 283
18.7　小結(jié) 284
18.8　參考資料 284
附錄 285
A．工業(yè)與學(xué)術(shù) 285
B．國產(chǎn)與國際 286
C．開放與封閉 288
D．資本與技術(shù) 292
E．個人與企業(yè) 295
F．過去與未來 299
G．參考資料 300