自己動手寫分布式搜索引擎

第1章  搜索引擎    1
1.1  搜索引擎基本模塊    2
1.2  開發(fā)環(huán)境    3
1.3  搜索引擎工作原理    4
1.3.1  網(wǎng)絡爬蟲    5
1.3.2  全文索引    5
1.3.3  搜索用戶界面    8
1.3.4  分布式計算    9
1.3.5  文本挖掘    9
1.4  算法基礎    9
1.4.1  折半查找    10
1.4.2  排序    10
1.4.3  最小生成樹    12
1.5  軟件工具    15
1.6  單元測試    15
1.7  本章小結    17
1.8  術語表    18
第2章  自己動手寫全文檢索    19
2.1  構建索引    22
2.2  生成索引文件    23
2.3  讀入索引文件    25
2.4  查詢    26
2.5  有限狀態(tài)機    29
2.5.1  運算    29
2.5.2  編輯距離有限狀態(tài)機    30
2.6  本章小結    32
第3章  Lucene的原理與應用    33
3.1  Lucene快速入門    34
3.1.1  創(chuàng)建索引    34
3.1.2  查詢索引庫    35
3.1.3  創(chuàng)建文檔索引    36
3.1.4  查詢文檔索引    36
3.2  創(chuàng)建和維護索引庫    37
3.2.1  設計索引庫結構    37
3.2.2  創(chuàng)建索引庫    38
3.2.3  向索引庫中添加索引文檔    40
3.2.4  刪除索引庫中的索引文檔    43
3.2.5  更新索引庫中的索引文檔    44
3.2.6  關閉索引庫    45
3.2.7  索引的優(yōu)化與合并    45
3.2.8  靈活索引    46
3.2.9  索引文件格式    47
3.2.10  定制索引存儲結構    49
3.2.11  寫索引集成到爬蟲    54
3.2.12  多線程寫索引    56
3.2.13  分發(fā)索引    58
3.2.14  修復索引    61
3.3  查找索引庫    61
3.3.1  查詢過程    61
3.3.2  常用查詢    64
3.3.3  基本詞查詢    65
3.3.4  模糊匹配    65
3.3.5  布爾查詢    67
3.3.6  短語查詢    69
3.3.7  跨度查詢    71
3.3.8  FieldScoreQuery    74
3.3.9  排序    77
3.3.10  使用Filter篩選搜索結果    81
3.3.11  使用Collector篩選搜索
 結果    82
3.3.12  遍歷索引庫    85
3.3.13  關鍵詞高亮顯示    88
3.3.14  列合并    91
3.3.15  關聯(lián)內容(BlockJoinQuery)    92
3.3.16  查詢大容量索引    94
3.4  讀寫并發(fā)    95
3.5  Lucene深入介紹    95
3.5.1  整體結構    96
3.5.2  索引原理    97
3.5.3  文檔值    100
3.5.4  FST    102
3.6  查詢語法與解析    102
3.6.1  JavaCC    104
3.6.2  生成一個查詢解析器    114
3.6.3  簡單的查詢解析器    114
3.6.4  靈活的查詢解析器    114
3.7  檢索模型    119
3.7.1  向量空間模型    121
3.7.2  DFR    125
3.7.3  BM25概率模型    130
3.7.4  BM25F概率模型    136
3.7.5  統(tǒng)計語言模型    138
3.7.6  相關性反饋    140
3.7.7  隱含語義索引    140
3.7.8  學習評分    141
3.7.9  查詢與相關度    142
3.7.10  使用Payload調整相關性    142
3.8  查詢原理    146
3.8.1  布爾匹配    147
3.8.2  短語查詢    150
3.8.3  索引統(tǒng)計    150
3.8.4  相關性    152
3.9  分析文本    155
3.9.1  Analyzer    156
3.9.2  TokenStream    162
3.9.3  定制Tokenizer    164
3.9.4  重用Tokenizer    166
3.9.5  有限狀態(tài)轉換    167
3.9.6  索引數(shù)值列    168
3.9.7  檢索結果排序    171
3.9.8  處理價格    171
3.10  Lucene中的壓縮算法    172
3.10.1  變長壓縮    172
3.10.2  Gamma    174
3.10.3  PForDelta    176
3.10.4  VSEncoding    178
3.10.5  前綴壓縮    179
3.10.6  差分編碼    180
3.10.7  靜態(tài)索引裁剪    182
3.11  搜索中文    182
3.11.1  Lucene切分原理    185
3.11.2  Lucene中的Analyzer    186
3.11.3  自己寫Analyzer    188
3.11.4  Lietu中文分詞    191
3.11.5  字詞混合索引    191
3.12  搜索英文    196
3.12.1  英文分詞    196
3.12.2  詞性標注    199
3.12.3  原型化    201
3.13  索引數(shù)據(jù)庫中的文本    202
3.14  優(yōu)化使用Lucene    204
3.14.1  系統(tǒng)優(yōu)化    204
3.14.2  查詢優(yōu)化    205
3.14.3  實現(xiàn)時間加權排序    207
3.14.4  詞性標注    210
3.14.5  個性化搜索    213
3.15  實時搜索    213
3.16  語義搜索    215
3.16.1  發(fā)現(xiàn)同義詞    215
3.16.2  垂直領域同義詞    219
3.16.3  同義詞擴展    219
3.16.4  語義標注    225
3.17  本章小結    225
3.18  術語表    226
第4章  搜索引擎用戶界面    227
4.1  實現(xiàn)Lucene搜索    228
4.1.1  測試搜索功能    228
4.1.2  加載索引    229
4.2  搜索頁面設計    231
4.2.1  Struts2實現(xiàn)的搜索界面    232
4.2.2  用于顯示搜索結果的
Taglib    234
4.2.3  實現(xiàn)翻頁    235
4.3  實現(xiàn)搜索接口    238
4.3.1  編碼識別    238
4.3.2  布爾搜索    241
4.3.3  指定范圍搜索    241
4.3.4  搜索結果排序    242
4.3.5  索引緩存與更新    243
4.4  實現(xiàn)分類統(tǒng)計視圖    249
4.4.1  單值列分類統(tǒng)計    255
4.4.2  側鉆    256
4.5  實現(xiàn)相似文檔搜索    257
4.6  實現(xiàn)AJAX搜索聯(lián)想詞    259
4.6.1  估計查詢詞的文檔頻率    259
4.6.2  搜索聯(lián)想詞總體結構    259
4.6.3  服務器端處理    260
4.6.4  瀏覽器端處理    265
4.6.5  拼音提示    267
4.6.6  部署總結    267
4.7  推薦搜索詞    268
4.7.1  挖掘相關搜索詞    268
4.7.2  使用多線程計算相關
搜索詞    270
4.8  查詢意圖理解    271
4.8.1  拼音搜索    271
4.8.2  無結果處理    272
4.9  集成其他功能    272
4.9.1  拼寫檢查    272
4.9.2  分類統(tǒng)計    276
4.9.3  相關搜索    281
4.9.4  再次查找    284
4.9.5  搜索日志    284
4.10  查詢分析    286
4.10.1  歷史搜索詞記錄    286
4.10.2  日志信息過濾    286
4.10.3  信息統(tǒng)計    287
4.10.4  挖掘日志信息    289
4.10.5  查詢詞意圖分析    290
4.11  部署網(wǎng)站    290
4.11.1  部署到Web服務器    290
4.11.2  防止攻擊    292
4.12  手機搜索界面    295
4.13  本章小結    296