從零構建向量數(shù)據(jù)庫·珊瑚書

第 一部分　認識向量數(shù)據(jù)庫
第 1章　向量數(shù)據(jù)庫基礎　2
1.1　向量　2
1.1.1　什么是向量　2
1.1.2　萬物皆可向量　4
1.1.3　向量間的相似度　6
1.1.4　相似度應用案例　8
1.2　數(shù)據(jù)庫　11
1.2.1　什么是數(shù)據(jù)庫　11
1.2.2　關系型數(shù)據(jù)庫　13
1.2.3　非關系型數(shù)據(jù)庫　14
1.2.4　傳統(tǒng)數(shù)據(jù)庫的限制　15
1.3　為什么需要向量數(shù)據(jù)庫　16
1.3.1　向量數(shù)據(jù)和傳統(tǒng)數(shù)據(jù)的差異　16
1.3.2　向量數(shù)據(jù)庫應運而生　17
1.3.3　大模型時代的智能存儲平臺　18
1.4　小結(jié)　19
第 2章　向量數(shù)據(jù)庫極簡史　21
2.1　孕育期（1980—2012）　21
2.1.1　深度神經(jīng)網(wǎng)絡的飛速發(fā)展　22
2.1.2　深度神經(jīng)網(wǎng)絡vs向量數(shù)據(jù)庫　23
2.2　誕生期（2012—2017）　24
2.3　成長期（2017年至今）　25
2.3.1　行業(yè)發(fā)展簡況　26
2.3.2　代表性產(chǎn)品能力對比　27
2.3.3　代表性產(chǎn)品技術架構　28
2.4　小結(jié)　32
第3章　向量數(shù)據(jù)庫的核心能力　33
3.1　基礎能力　33
3.1.1　邏輯層次　34
3.1.2　索引　39
3.1.3　關鍵指標　42
3.2　高階能力　43
3.2.1　動態(tài)schema　43
3.2.2　別名機制　44
3.2.3　向量化　45
3.2.4　混合查詢　46
3.3　小結(jié)　47
第二部分　構建向量數(shù)據(jù)庫
第4章　實現(xiàn)單機向量數(shù)據(jù)庫　50
4.1　實現(xiàn)向量數(shù)據(jù)索引　50
4.1.1　FAISS核心功能　51
4.1.2　實現(xiàn)扁平索引　56
初始版本v0.0.1　62
4.1.3　HNSWLib核心功能　63
4.1.4　實現(xiàn)HNSW索引　70
版本迭代v0.0.2　73
4.2　實現(xiàn)混合數(shù)據(jù)索引　74
4.2.1　實現(xiàn)標量數(shù)據(jù)索引　74
4.2.2　統(tǒng)一管理入口　 76
版本升級v0.1 　 79
4.2.3　實現(xiàn)過濾索引　 80
版本迭代v0.1.1　 86
4.3　實現(xiàn)系統(tǒng)異常恢復　 87
4.3.1　數(shù)據(jù)日志持久化　 87
版本迭代v0.1.2　 91
4.3.2　數(shù)據(jù)快照持久化　 92
版本升級v0.2　 97
4.4　小結(jié)　 97
第5 章　實現(xiàn)分布式向量數(shù)據(jù)庫　 99
5.1　集群數(shù)據(jù)管理　 100
5.1.1　認識NuRaft　 102
5.1.2　建立主從關系　 106
5.1.3　實現(xiàn)數(shù)據(jù)復制　 110
版本升級v0.3　 113
5.2　集群流量管理　 113
5.2.1　集群的元數(shù)據(jù)管理　 114
5.2.2　統(tǒng)一的流量入口　 117
5.2.3　讀寫分離　 121
5.2.4　保證讀寫一致性　 122
版本升級v0.4　 123
5.3　集群異常管理　 123
5.3.1　發(fā)現(xiàn)新主節(jié)點　 123
5.3.2　發(fā)現(xiàn)故障從節(jié)點　 125
5.3.3　實現(xiàn)故障切換　 127
版本升級v0.5　 128
5.4　集群的分片　 130
5.4.1　配置集群的分片策略　 130
5.4.2　根據(jù)分片策略轉(zhuǎn)發(fā)請求　 132
版本升級v0.6　 139
5.5　小結(jié)　 140
第6 章　優(yōu)化向量數(shù)據(jù)庫　 142
6.1　性能優(yōu)化　 143
6.1.1　利用指令集優(yōu)化向量計算　 143
6.1.2　優(yōu)化查詢算法　 144
6.1.3　優(yōu)化通信協(xié)議　 147
6.1.4　自定義基準測試工具　 149
6.2　成本優(yōu)化　 154
6.2.1　多模塊混合部署　 155
6.2.2　單節(jié)點部署　 158
6.3　易用性優(yōu)化　 160
6.3.1　SDK　 160
6.3.2　訪問鑒權　 162
6.3.3　數(shù)據(jù)備份　 169
6.4　小結(jié)　 172
第三部分　向量數(shù)據(jù)庫的實踐與展望
第7 章　向量數(shù)據(jù)庫實踐案例　 176
7.1　搭建圖片查詢系統(tǒng)　 176
7.1.1　圖片向量化　 176
7.1.2　圖片上傳和查詢　 179
7.1.3　系統(tǒng)效果一覽　 181
7.2　搭建個人知識庫　 182
7.2.1　知識預處理　 182
7.2.2　知識向量化　 183
7.2.3　知識庫管理　 184
7.2.4　知識問答　 185
7.2.5　系統(tǒng)效果一覽　 186
7.3　小結(jié)　 187
第8 章　展望　 189
8.1　從行業(yè)演進視角看　 190
8.1.1　人類調(diào)度數(shù)據(jù)新范式　 190
8.1.2　向量數(shù)據(jù)抹平數(shù)據(jù)格式差異　 192
8.1.3　向量數(shù)據(jù)庫平臺化的關鍵　 193
8.2　從行業(yè)應用視角看　 194
8.2.1　RAG 簡介　 195
8.2.2　降低RAG 使用門檻　 196
8.3　小結(jié)　 197