神經(jīng)機器翻譯：基礎(chǔ)、原理、實踐與進階

推薦序
前言
數(shù)學(xué)符號
第1 章緒論/1
1.1 引言/ 2
1.2 基本思想/ 6
1.3 解碼/ 12
1.4 神經(jīng)機器翻譯與統(tǒng)計機器翻譯對比/18
1.5 發(fā)展歷史/27
1.6 應(yīng)用現(xiàn)狀/29
1.7 本書組織/33
1.8 閱讀材料/35
1.9 短評：統(tǒng)計與規(guī)則的競爭/36

第I 部分基礎(chǔ)篇
第2 章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)/41
2.1 神經(jīng)網(wǎng)絡(luò)/42
2.2 神經(jīng)網(wǎng)絡(luò)訓(xùn)練/48
2.3 常用神經(jīng)網(wǎng)絡(luò)簡介/61
2.4 閱讀材料/70
2.5 短評：神經(jīng)網(wǎng)絡(luò)與自然語言處理關(guān)系演變/71

第3 章自然語言處理基礎(chǔ)/75
3.1 語言模型/ 76
3.2 詞嵌入/82
3.3 對齊/ 90
3.4 語言分析/ 93
3.5 閱讀材料/99
3.6 短評：自然語言處理之經(jīng)驗主義與理性主義/100

第II 部分原理篇
第4 章經(jīng)典神經(jīng)機器翻譯/105
4.1 編碼器-解碼器結(jié)構(gòu)/106
4.2 序列到序列學(xué)習(xí)/112
4.3 訓(xùn)練/114
4.4 解碼/114
4.5 閱讀材料/116
4.6 短評：神經(jīng)機器翻譯之獨立同發(fā)現(xiàn)——編碼器-解碼器vs. 序列到序列/117

第5 章基于注意力的神經(jīng)機器翻譯/119
5.1 經(jīng)典神經(jīng)機器翻譯模型的瓶頸/120
5.2 注意力機制/120
5.3 注意力機制的改進/124
5.4 基于注意力的多層神經(jīng)機器翻譯模型GNMT/127
5.5 閱讀材料/128
5.6 短評：注意力機制與認知注意/129

第6 章基于卷積神經(jīng)網(wǎng)絡(luò)的神經(jīng)機器翻譯模型/131
6.1 卷積編碼器/132
6.2 全卷積序列到序列模型/133
6.3 ByteNet/137
6.4 閱讀材料/139
6.5 短評：卷積神經(jīng)機器翻譯——實用性倒逼技術(shù)創(chuàng)新/140

第7 章基于自注意力的神經(jīng)機器翻譯/142
7.1 自注意力機制/143
7.2 Transformer 模型/144
7.3 自注意力改進方法/149
7.4 閱讀材料/152
7.5 短評：Transformer 帶來的自然語言處理技術(shù)革新/153

第8 章神經(jīng)機器翻譯若干基礎(chǔ)問題及解決方案/156
8.1 開放詞匯表/157
8.2 深度模型/161
8.3 快速解碼/162
8.4 模型融合/166
8.5 領(lǐng)域適應(yīng)/169
8.6 閱讀材料/172
8.7 短評：再談神經(jīng)機器翻譯新思想新技術(shù)的誕生/173

第III 部分實踐篇
第9 章數(shù)據(jù)準備/176
9.1 平行語料/177
9.2 語料獲取/179
9.3 數(shù)據(jù)過濾與質(zhì)量評估/183
9.4 數(shù)據(jù)處理/186
9.5 閱讀材料/188
9.6 短評：淺談數(shù)據(jù)對機器翻譯的重要性 /188

第10 章訓(xùn)練/191
10.1 mini-batch 設(shè)置/192
10.2 學(xué)習(xí)速率設(shè)置/195
10.3 隨機梯度下降算法選擇/197
10.4 其他超參數(shù)選擇/200
10.5 分布式訓(xùn)練/202
10.6 Transformer 訓(xùn)練設(shè)置/207
10.7 閱讀材料/209
10.8 短評：超參數(shù)設(shè)置——自動優(yōu)化與實驗可復(fù)現(xiàn)性/ 210

第11 章測試/213
11.1 解碼/214
11.2 解碼和訓(xùn)練不一致/218
11.3 機器翻譯評測方法/ 220
11.4 錯誤分析/ 223
11.5 閱讀材料 /225
11.6 短評：評測驅(qū)動機器翻譯研究/ 225

第12 章部署/233
12.1 GPU 環(huán)境下的部署/234
12.2 CPU 環(huán)境下的部署/237
12.3 智能終端部署/240
12.4 模型壓縮與計算加速/244
12.5 閱讀材料/245
12.6 短評：機器翻譯工業(yè)部署 /246

第13 章系統(tǒng)設(shè)計與實現(xiàn)/251
13.1 總體設(shè)計/252
13.2 功能設(shè)計/254
13.3 開源系統(tǒng)/ 257
13.4 FAIRSEQ 解析/259
13.5 閱讀材料/264
13.6 短評：機器翻譯開源之路/ 264

第IV 部分進階篇
第14 章語篇級神經(jīng)機器翻譯/271
14.1 什么是語篇/272
14.2 語篇級機器翻譯面臨的挑戰(zhàn)/274
14.3 語篇級機器翻譯形式化定義/275
14.4 語篇級神經(jīng)機器翻譯方法 /276
14.5 面向語篇現(xiàn)象的機器翻譯評測數(shù)據(jù)集/288
14.6 語篇級機器翻譯評測方法/288
14.7 未來方向/289
14.8 閱讀材料/290
14.9 短評：神經(jīng)機器翻譯達到人類同等水平了嗎/292

第15 章低資源及無監(jiān)督神經(jīng)機器翻譯/296
15.1 低資源語言與資源稀缺挑戰(zhàn)/297
15.2 低資源神經(jīng)機器翻譯/298
15.3 無監(jiān)督機器翻譯/305
15.4 未來方向/311
15.5 閱讀材料/312
15.6 短評：無監(jiān)督機器翻譯之美及挑戰(zhàn)/ 312

第16 章融合知識的神經(jīng)機器翻譯/315
16.1 知識與機器翻譯 /316
16.2 語言學(xué)知識融合/318
16.3 非語言學(xué)知識融合/324
16.4 雙語知識融合/328
16.5 內(nèi)部知識遷移/332
16.6 未來方向/337
16.7 閱讀材料/337
16.8 短評：淺談基于知識的機器翻譯/ 338

第17 章魯棒神經(jīng)機器翻譯/342
17.1 魯棒性概述/343
17.2 對抗魯棒性/346
17.3 對抗樣本生成/347
17.4 對抗訓(xùn)練/355
17.5 數(shù)據(jù)集/356
17.6 未來方向/358
17.7 閱讀材料/359
17.8 短評：神經(jīng)機器翻譯是瘋子嗎？兼談其“幻想”/ 360

第18 章多語言神經(jīng)機器翻譯/363
18.1 基本思想與形式化定義/364
18.2 多語言機器翻譯vs. 雙語機器翻譯/365
18.3 多語言神經(jīng)機器翻譯模型/367
18.4 訓(xùn)練數(shù)據(jù)采樣方法/ 375
18.5 大規(guī)模多語言神經(jīng)機器翻譯/376
18.6 多語言神經(jīng)機器翻譯向雙語神經(jīng)機器翻譯遷移/ 384
18.7 未來方向/386
18.8 閱讀材料/389
18.9 短評：多語言機器翻譯之美/390

第19 章語音與視覺多模態(tài)神經(jīng)機器翻譯/393
19.1 文本模態(tài)之外的機器翻譯 /394
19.2 端到端語音翻譯/ 395
19.3 視覺引導(dǎo)的多模態(tài)神經(jīng)機器翻譯/ 407
19.4 閱讀材料/ 417
19.5 短評：預(yù)訓(xùn)練技術(shù)爭議與符號奠基問題/ 419

第20 章發(fā)展趨勢與展望/427
20.1 展望/ 428
20.2 本書未覆蓋內(nèi)容/ 429
20.3 短評：科幻中的機器翻譯與未來機器翻譯/ 433
參考文獻/439
索引/482