基于深度學(xué)習(xí)的機(jī)器閱讀理解

目錄
前言
第1章 概論 1
1.1 任務(wù)簡述 1
1.2 發(fā)展歷程 3
1.2.1 早期 3
1.2.2 近期 4
1.2.3當(dāng)代 5
1.3 任務(wù)定義及分類 6
1.3.1 形式化定義 6
1.3.2 任務(wù)分類 6
1.3.3 相關(guān)任務(wù)辨析 11
1.4 模型評測 12
1.4.1 評價(jià)指標(biāo) 12
1.4.2 代表性數(shù)據(jù)集 16
1.5 典型應(yīng)用 25
1.5.1 搜索引擎增強(qiáng) 25
1.5.2 智能助理 27
1.6 本章小結(jié) 27
第2章 深度學(xué)習(xí)基礎(chǔ) 28
2.1 多層感知機(jī) 28
2.1.1 感知機(jī) 28
2.1.2 多層感知機(jī) 34
2.1.3 分析總結(jié) 39
2.2 表示學(xué)習(xí)初探 44
2.2.1 文本的稀疏表示 44
2.2.2 文本的分布式表示 45
2.2.3 分析總結(jié) 50
2.3 卷積神經(jīng)網(wǎng)絡(luò) 51
2.4 循環(huán)神經(jīng)網(wǎng)絡(luò)及其改進(jìn) 53
2.5 注意力機(jī)制 57
2.6 再論表示學(xué)習(xí) 59
2.6.1 CoVe 59
2.6.2 ELMo 60
2.6.3 GPT 62
2.6.4 BERT 64
2.7 本章小結(jié) 66
第3章 基本框架 67
3.1 基本框架 67
3.2 嵌入編碼 69
3.2.1 傳統(tǒng)編碼方法 70
3.2.2 預(yù)訓(xùn)練的基于上下文的編碼方法 70
3.2.3 多粒度編碼 72
3.3 特征提取 73
3.3.1 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的特征提取 73
3.3.2 基于卷積神經(jīng)網(wǎng)絡(luò)的特征提取 75
3.3.3 基于多頭自注意力的特征提取 76
3.4 文章-問題交互 76
3.4.1 單向注意力 76
3.4.2 雙向注意力 77
3.4.3 一次交互 79
3.4.4 多次交互 79
3.5 答案預(yù)測 81
3.5.1 答案在文章 中 81
3.5.2 答案不在文章 中 83
3.6 其他方法 84
3.6.1 強(qiáng)化學(xué)習(xí) 84
3.6.2 答案排序 85
3.6.3 句子選擇 85
3.7 本章小結(jié) 85
第4章 代表性模型 86
4.1 Match-LSTM：基于指針網(wǎng)絡(luò)的邊界模型 86
4.2 R-NET：自注意力門控機(jī)制 88
4.3 Bi-DAF：雙向注意力流 90
4.4 QANet：基于Transformer結(jié)構(gòu)的閱讀理解模型 92
4.5 R.M-Reader 94
4.6 S-Net 97
4.7 基于雙向自注意力的預(yù)訓(xùn)練語言模型 100
4.8 代表性方法比較分析 100
4.9 本章小結(jié) 101
第5章 新興趨勢 103
5.1 引入知識(shí)的機(jī)器閱讀理解 103
5.1.1 任務(wù)定義 103
5.1.2 代表數(shù)據(jù)集 103
5.1.3 存在的挑戰(zhàn) 104
5.1.4 現(xiàn)有方法 104
5.2 帶有不能回答問題的機(jī)器閱讀理解 105
5.2.1 任務(wù)定義 105
5.2.2 代表數(shù)據(jù)集 106
5.2.3 存在的挑戰(zhàn) 106
5.2.4 現(xiàn)有方法 106
5.3 多文檔機(jī)器閱讀理解 107
5.3.1 任務(wù)定義 107
5.3.2 代表數(shù)據(jù)集 108
5.3.3 存在的挑戰(zhàn) 108
5.3.4 現(xiàn)有方法 109
5.4 對話式機(jī)器閱讀理解 111
5.4.1 任務(wù)定義 111
5.4.2 代表數(shù)據(jù)集 111
5.4.3 存在的挑戰(zhàn) 112
5.4.4 現(xiàn)有方法 113
5.5 跨語言機(jī)器閱讀理解 114
5.5.1 任務(wù)定義 114
5.5.2 代表數(shù)據(jù)集 114
5.5.3 存在的挑戰(zhàn) 115
5.5.4 現(xiàn)有方法 116
5.6 推理機(jī)器閱讀理解 116
5.6.1 任務(wù)定義 116
5.6.2 代表數(shù)據(jù)集 117
5.6.3 存在的挑戰(zhàn) 118
5.6.4 現(xiàn)有方法 119
5.7 本章小結(jié) 119
第6章 開放性問題 120
6.1 開放性問題 120
6.1.1 相關(guān)文章的快速檢索獲取 120
6.1.2 機(jī)器閱讀理解系統(tǒng)的魯棒性 121
6.1.3 缺乏對外部知識(shí)的運(yùn)用 121
6.1.4 缺乏推理的能力 122
6.1.5 缺乏可解釋性 122
6.2 全書總結(jié) 122
附錄一 機(jī)器學(xué)習(xí)基礎(chǔ)概念 124
附錄二 文本分析基礎(chǔ) 132
附錄三 傳統(tǒng)機(jī)器閱讀理解概述 139
附錄四 簡稱一覽表 147
附錄五 可用代碼資源 149
參考文獻(xiàn) 150