搜索引擎與信息檢索教程

前言
第1章 搜索引擎概述
1.1 搜索引擎的概念
1.2 搜索引擎的發(fā)展史
1.3 搜索引擎的分類
1.4 搜索引擎的信息檢索模型
1.5 建立搜索引擎的關(guān)鍵技術(shù)
1.6 中文搜索引擎的發(fā)展趨勢
1.7 主要搜索引擎介紹
1.7.1 谷歌(Google)搜索
1.7.2 雅虎(Yahoo)搜索
1.7.3 百度(Baidu)搜索
1.7.4 天網(wǎng)搜索
1.8 小結(jié)
思考題
第2章 搜索引擎的工作原理
2.1 搜索引擎的基本結(jié)構(gòu)及工作原理
2.2 網(wǎng)頁的搜集
2.3 網(wǎng)頁內(nèi)容的提取
2.4 查詢服務
2.5 小結(jié)
思考題
第3章 信息檢索的模型
3.1 經(jīng)典模型
3.1.1 布爾模型
3.1.2 向量模型
3.1.3 概率模型
3.2 代數(shù)模型
3.2.1 廣義向量空間模型
3.2.2 神經(jīng)網(wǎng)絡模型
3.3 其他概率模型
3.3.1 貝葉斯網(wǎng)絡
3.3.2 推理網(wǎng)絡模型
3.3.3 信任度網(wǎng)絡模型
3.4 小結(jié)
思考題
第4章 文本操作
4.1 文本預處理
4.1.1 文本的詞法分析
4.1.2 中文分詞技術(shù)
4.1.3 無用詞匯的刪除
4.1.4 詞干提取技術(shù)
4.1.5 索引詞條的選擇
4.1.6 詞典
4.2 文本聚類
4.2.1 文本聚類算法
4.2.2 文本聚類中的相關(guān)概念
4.2.3 特征空間的降維處理
4.3 文本壓縮
4.3.1 基本概念
4.3.2 統(tǒng)計方法
4.3.3 字典方法
4.3.4 倒排文檔壓縮
4.4 小結(jié)
思考題
第5章 文本信息檢索技術(shù)
5.1 順排文檔檢索
5.1.1 表展開法
5.1.2 邏輯樹展開法
5.1.3 其他順排文檔檢索算法
5.2 倒排文檔檢索
5.2.1 倒排文檔的檢索
5.2.2 倒排文檔的建立
5.2.3 逆波蘭表達式
5.2.4 檢索指令表的生成
5.2.5 檢索實施
5.3 布爾檢索
5.4 加權(quán)檢索
5.4.1 檢索詞加權(quán)檢索
5.4.2 詞頻加權(quán)檢索
5.4.3 標引加權(quán)檢索
5.5 全文檢索
5.5.1 全文檢索的技術(shù)指標
5.5.2 全文檢索的實現(xiàn)
5.5.3 全文檢索效率的提高
5.6 超文本檢索
5.6.1 超文本技術(shù)概述
5.6.2 超文本的功能及結(jié)構(gòu)
5.6.3 超文本檢索的優(yōu)缺點
5.7 分布式信息檢索
5.7.1 分布式檢索的查詢協(xié)議
5.7.2 分布式檢索系統(tǒng)的結(jié)構(gòu)
5.7.3 分布式信息檢索模式
5.7.4 分布式檢索資源選擇
5.8 分布式數(shù)據(jù)庫查詢技術(shù)
5.8.1 分布式數(shù)據(jù)庫的基本概念
5.8.2 利用C#實現(xiàn)分布式數(shù)據(jù)庫查詢
5.8.3 基于.NET Remoting的查詢技術(shù)
5.8.4 基于DCOM的分布式查詢技術(shù)
5.8.5 基于JDBC的查詢技術(shù)
5.8.6 基于Servlet的查詢技術(shù)
5.8.7 基于CORBA的查詢技術(shù)
5.8.8 基于Agent的查詢技術(shù)
5.9 小結(jié)
思考題
第6章 信息檢索評價
6.1 相關(guān)性
6.1.1 相關(guān)性的特征
6.1.2 相關(guān)性研究類別
6.1.3 相關(guān)性模型
6.2 信息檢索性能評價
6.2.1 信息檢索系統(tǒng)的有效性
6.2.2 評價指標
6.2.3 Web檢索系統(tǒng)性能評價
6.3 信息檢索領(lǐng)域的相關(guān)組織和會議
6.4 小結(jié)
思考題
第7章 文本分類與聚類
7.1 分類與聚類介紹
7.1.1 文本分類
7.1.2 文本聚類
7.1.3 文本分類的算法
7.1.4 文本聚類的算法
7.1.5 自動分類與自動聚類
7.1.6 文本分類的評測方法與指標
7.1.7 文本聚類的評測方法與指標
7.2 常用文本分類方法
7.2.1 文本分類的問題
7.2.2 kNN分類算法
7.2.3 NB分類算法
7.2.4 決策樹分類算法
7.2.5 Rocchio分類算法
7.2.6 支持向量機分類算法
7.2.7 特征選擇分類算法.
7.2.8 文本分類系統(tǒng)的實現(xiàn)
7.3 常用文本聚類方法
7.3.1 層次聚類算法
7.3.2 分割聚類算法
7.3.3 基于密度的聚類算法
7.3.4 基于網(wǎng)格的聚類算法
7.3.5 基于模型的聚類算法
7.4 小結(jié)
思考題
第8章 Web信息檢索技術(shù)
8.1 Web信息處理的基本技術(shù)
8.1.1 Web信息的基本特點
8.1.2 Web信息的表現(xiàn)方式
8.1.3 Web信息系統(tǒng)結(jié)構(gòu)
8.1.4 網(wǎng)絡信息資源的組織與管理
8.2 Web數(shù)據(jù)挖掘
8.2.1 Web挖掘流程
8.2.2 Web挖掘的分類及現(xiàn)狀
8.2.3 Web數(shù)據(jù)挖掘和Web信息檢索的區(qū)別
8.3 Web信息檢索的關(guān)鍵技術(shù)
8.3.1 文檔搜集
8.3.2 文檔預處理
8.3.3 索引數(shù)據(jù)庫的建立
8.3.4 相似度計算與排序方法
8.4 搜索引擎的基本結(jié)構(gòu)
8.4.1 搜索引擎的結(jié)構(gòu)分類
8.4.2 網(wǎng)頁收集模塊
8.4.3 網(wǎng)頁索引模塊
8.4.4 查詢模塊
8.4.5 用戶界面
8.4.6 搜索引擎的主要指標及分析
8.5 搜索引擎的數(shù)據(jù)結(jié)構(gòu)
8.5.1 存儲結(jié)構(gòu)
8.5.2 信息庫
8.5.3 文本索引
8.5.4 詞典
8.5.5 采樣表
8.5.6 前向索引
8.5.7 后向索引
8.6 搜索引擎爬蟲
8.6.1 網(wǎng)絡爬蟲
8.6.2 深度優(yōu)先策略
8.6.3 廣度優(yōu)先策略
8.6.4 不重復抓取策略
8.6.5 網(wǎng)頁抓取優(yōu)先策略
8.6.6 網(wǎng)頁重訪策略
8.6.7 網(wǎng)頁抓取提速策略
8.6.8 Robots協(xié)議
8.6.9 網(wǎng)頁內(nèi)容提取技術(shù)
8.7 元搜索引擎
8.7.1 元搜索引擎的基本構(gòu)成
8.7.2 常用元搜索引擎介紹及其分類
8.7.3 與獨立搜索引擎的比較
8.7.4 主要技術(shù)指標及分析
8.8 小結(jié)
思考題
第9章 搜索引擎開發(fā)技術(shù)
9.1 實例簡介
9.1.1 搜索引擎的體系結(jié)構(gòu)
9.1.2 網(wǎng)頁搜集
9.1.3 網(wǎng)頁預處理
9.1.4 查詢服務
9.2 環(huán)境搭建與配置
9.2.1 idk 1.6的安裝與配置
9.2.2 eclipse的安裝與配置
9.2.3 Tomcat的安裝與配置
9.2.4 Heritrix的安裝與配置
9.3 網(wǎng)頁搜集的實現(xiàn)
9.3.1 擴展Heritrix
9.3.2 抓取網(wǎng)頁
9.4 預處理的實現(xiàn)
9.4.1 原始網(wǎng)頁的處理
9.4.2 建立索引——Lucene
9.5 提供查詢服務
9.5.1 搜索引擎架構(gòu)設(shè)計
9.5.2 后臺設(shè)計和實現(xiàn)
9.5.3 頁面設(shè)計和實現(xiàn)
9.5.4 部署到Tomcat
9.6 小結(jié)
實驗
參考文獻