智能問答與深度學(xué)習(xí)

1 概述1
1.1 智能問答：讓機(jī)器更好地服務(wù)于人 1
1.2 問答系統(tǒng)類型介紹 2
1.2.1 基于事實(shí)的問答系統(tǒng) 3
1.2.2 基于常見問題集的問答系統(tǒng) 3
1.2.3 開放域的問答系統(tǒng) 4
1.3 使用本書附帶的源碼程序 4
1.3.1 安裝依賴軟件 4
1.3.2 下載源碼 5
1.3.3 執(zhí)行示例程序 5
1.3.4 聯(lián)系我們 6
1.4 全書結(jié)構(gòu) 6
2 機(jī)器學(xué)習(xí)基礎(chǔ)8
2.1 線性代數(shù) 8
2.1.1 標(biāo)量、向量、矩陣和張量 8
2.1.2 矩陣運(yùn)算 9
2.1.3 特殊類型的矩陣 10
2.1.4 線性相關(guān) 11
2.1.5 范數(shù) 12
2.2 概率論基礎(chǔ) 12
2.2.1 隨機(jī)變量 13
2.2.2 期望和方差 13
2.2.3 伯努利分布 14
2.2.4 二項(xiàng)分布 14
2.2.5 泊松分布 15
2.2.6 正態(tài)分布 15
2.2.7 條件概率、聯(lián)合概率和全概率 17
2.2.8 先驗(yàn)概率與后驗(yàn)概率 18
2.2.9 邊緣概率 18
2.2.10 貝葉斯公式 18
2.2.11 最大似然估計算法 19
2.2.12 線性回歸模型 20
2.2.13 邏輯斯蒂回歸模型 21
2.3 信息論基礎(chǔ) 22
2.3.1 熵 23
2.3.2 聯(lián)合熵和條件熵 23
2.3.3 相對熵與互信息 24
2.3.4 信道和信道容量 25
2.3.5 最大熵模型 26
2.3.6 信息論與機(jī)器學(xué)習(xí) 29
2.4 統(tǒng)計學(xué)習(xí) 29
2.4.1 輸入空間、特征空間與輸出空間 30
2.4.2 向量表示 30
2.4.3 數(shù)據(jù)集 31
2.4.4 從概率到函數(shù) 31
2.4.5 統(tǒng)計學(xué)習(xí)三要素 32
2.5 隱馬爾可夫模型 33
2.5.1 隨機(jī)過程和馬爾可夫鏈 33
2.5.2 隱馬爾可夫模型的定義 36
2.5.3 三個基本假設(shè)及適用場景 37
2.5.4 概率計算問題之直接計算 39
2.5.5 概率計算問題之前向算法 40
2.5.6 概率計算問題之后向算法 42
2.5.7 預(yù)測問題之維特比算法 45
2.5.8 學(xué)習(xí)問題之Baum-Welch 算法 48
2.6 條件隨機(jī)場模型 52
2.6.1 超越HMM 52
2.6.2 項(xiàng)目實(shí)踐 55
2.7 總結(jié) 59
3 自然語言處理基礎(chǔ)60
3.1 中文自動分詞 60
3.1.1 有向無環(huán)圖 61
3.1.2 最大匹配算法 63
3.1.3 算法評測 69
3.1.4 由字構(gòu)詞的方法 72
3.2 詞性標(biāo)注 77
3.2.1 詞性標(biāo)注規(guī)范 77
3.2.2 隱馬爾可夫模型詞性標(biāo)注 79
3.3 命名實(shí)體識別 81
3.4 上下文無關(guān)文法 82
3.4.1 原理介紹 83
3.4.2 算法淺析 83
3.5 依存關(guān)系分析 84
3.5.1 算法淺析 85
3.5.2 項(xiàng)目實(shí)踐 92
3.5.3 小結(jié) 94
3.6 信息檢索系統(tǒng) 95
3.6.1 什么是信息檢索系統(tǒng) 95
3.6.2 衡量信息檢索系統(tǒng)的關(guān)鍵指標(biāo) 95
3.6.3 理解非結(jié)構(gòu)化數(shù)據(jù) 97
3.6.4 倒排索引 98
3.6.5 處理查詢 100
3.6.6 項(xiàng)目實(shí)踐 102
3.6.7 Elasticsearch 103
3.6.8 小結(jié) 112
3.7 問答語料 113
3.7.1 WikiQA 113
3.7.2 中文版保險行業(yè)語料庫InsuranceQA 113
3.8 總結(jié) 115
4 深度學(xué)習(xí)初步116
4.1 深度學(xué)習(xí)簡史 116
4.1.1 感知機(jī) 116
4.1.2 寒冬和復(fù)蘇 117
4.1.3 走出實(shí)驗(yàn)室 118
4.1.4 寒冬再臨 119
4.1.5 走向大規(guī)模實(shí)際應(yīng)用 119
4.2 基本架構(gòu) 120
4.2.1 神經(jīng)元 121
4.2.2 輸入層、隱藏層和輸出層 122
4.2.3 標(biāo)準(zhǔn)符號 123
4.3 神經(jīng)網(wǎng)絡(luò)是如何學(xué)習(xí)的 124
4.3.1 梯度下降 124
4.3.2 反向傳播理論 127
4.3.3 神經(jīng)網(wǎng)絡(luò)全連接層的實(shí)現(xiàn) 130
4.3.4 使用簡單神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)問答任務(wù) 131
4.4 調(diào)整神經(jīng)網(wǎng)絡(luò)超參數(shù) 136
4.4.1 超參數(shù) 136
4.4.2 參考建議 137
4.5 卷積神經(jīng)網(wǎng)絡(luò)與池化 138
4.5.1 簡介 138
4.5.2 卷積層的前向傳播 139
4.5.3 池化層的前向傳播 141
4.5.4 卷積層的實(shí)現(xiàn) 141
4.5.5 池化層的實(shí)現(xiàn) 145
4.5.6 使用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)問答任務(wù) 148
4.6 循環(huán)神經(jīng)網(wǎng)絡(luò)及其變種 149
4.6.1 簡介 149
4.6.2 循環(huán)神經(jīng)網(wǎng)絡(luò) 149
4.6.3 長短期記憶單元和門控循環(huán)單元 153
4.6.4 循環(huán)神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn) 156
4.6.5 使用循環(huán)神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)問答任務(wù) 159
4.7 簡易神經(jīng)網(wǎng)絡(luò)工具包 160
5 詞向量實(shí)現(xiàn)及應(yīng)用161
5.1 語言模型 161
5.1.1 評測 162
5.1.2 ARPA 格式介紹 162
5.1.3 項(xiàng)目實(shí)踐 163
5.2 One-hot 表示法 164
5.3 詞袋模型 165
5.4 NNLM 和RNNLM 165
5.5 word2vec 168
5.5.1 C-BOW 的原理 169
5.5.2 Skip-gram 的原理 172
5.5.3 計算效率優(yōu)化 174
5.5.4 項(xiàng)目實(shí)踐 179
5.6 GloVe 189
5.6.1 GloVe 的原理 189
5.6.2 GloVe 與word2vec 的區(qū)別和聯(lián)系 191
5.6.3 項(xiàng)目實(shí)踐 193
5.7 fastText 198
5.7.1 fastText 的原理 198
5.7.2 fastText 與word2vec 的區(qū)別和聯(lián)系 200
5.7.3 項(xiàng)目實(shí)踐 201
5.8 中文近義詞工具包 204
5.8.1 安裝 205
5.8.2 接口 205
5.9 總結(jié) 205
6 社區(qū)問答中的QA 匹配206
6.1 社區(qū)問答任務(wù)簡介 206
6.2 孿生網(wǎng)絡(luò)模型 207
6.3 QACNN 模型 207
6.3.1 模型構(gòu)建 207
6.3.2 實(shí)驗(yàn)結(jié)果 214
6.4 Decomposable Attention 模型 214
6.4.1 模型介紹 214
6.4.2 模型構(gòu)建 216
6.5 多比較方式的比較–集成模型 216
6.5.1 模型介紹 216
6.5.2 模型構(gòu)建 218
6.6 BiMPM 模型 219
6.6.1 模型介紹 219
6.6.2 模型構(gòu)建 221
7 機(jī)器閱讀理解222
7.1 完型填空型機(jī)器閱讀理解任務(wù) 222
7.1.1 CNN/Daily Mail 數(shù)據(jù)集 222
7.1.2 Children’s Book Test（CBT）數(shù)據(jù)集 223
7.1.3 GA Reader 模型 226
7.1.4 SA Reader 模型 227
7.1.5 AoA Reader 模型 228
7.2 答案抽取型機(jī)器閱讀理解任務(wù) 230
7.2.1 SQuAD 數(shù)據(jù)集 231
7.2.2 MS MARCO 數(shù)據(jù)集 232
7.2.3 TriviaQA 數(shù)據(jù)集 234
7.2.4 DuReader 數(shù)據(jù)集 235
7.2.5 BiDAF 模型 235
7.2.6 R-Net 模型 237
7.2.7 S-Net 模型 240
7.3 答案選擇型機(jī)器閱讀理解任務(wù) 243
7.4 展望 245
參考文獻(xiàn)246