對偶學習

譯者序
前言
致謝
第 1 章 緒論 1
1.1 引言 1
1.2 人工智能任務中的結構對偶性 3
1.3 對偶學習的劃分 4
1.3.1 依照使用數(shù)據(jù)劃分 4
1.3.2 依照對偶信號構造準則劃分 4
1.4 全書總覽 5
參考文獻 6
第 2 章 機器學習基礎 10
2.1 機器學習范式 10
2.1.1 有監(jiān)督學習 11
2.1.2 無監(jiān)督學習 12
2.1.3 強化學習 13
2.1.4 其他學習范式 14
2.2 機器學習算法核心組成部分 14
2.3 泛化和正則化 16
2.4 搭建機器學習模型 17
2.4.1 數(shù)據(jù)收集和特征工程 18
2.4.2 算法選擇、模型訓練、超參數(shù)調(diào)優(yōu) 18
參考文獻 19
第 3 章 深度學習基礎 24
3.1 神經(jīng)網(wǎng)絡 24
3.2 卷積神經(jīng)網(wǎng)絡 27
3.3 序列建模 29
3.3.1 遞歸神經(jīng)網(wǎng)絡及其變種 30
3.3.2 編碼器解碼器架構 31
3.3.3 Transformer 網(wǎng)絡 34
3.4 深度模型訓練 36
3.4.1 隨機梯度下降法 37
3.4.2 正則化 38
3.5 為什么選擇深度神經(jīng)網(wǎng)絡 39
參考文獻 41
第 4 章 對偶學習在機器翻譯中的應用及拓展 48
4.1 機器翻譯簡介 48
4.1.1 神經(jīng)機器翻譯 49
4.1.2 回譯技術 50
4.2 對偶重構準則 51
4.3 對偶半監(jiān)督學習 52
4.4 對偶無監(jiān)督學習 56
4.4.1 基本思想 56
4.4.2 系統(tǒng)架構和訓練算法 57
4.5 多智能體對偶學習 60
4.5.1 模型架構 61
4.5.2 拓展和比較 62
4.5.3 多智能體對偶機器翻譯 63
4.6 拓展 65
4.6.1 語義解析 65
4.6.2 文本風格遷移 66
4.6.3 對話 67
參考文獻 68
第 5 章 對偶學習在圖像翻譯中的應用及拓展 72
5.1 簡介 72
5.2 無監(jiān)督圖像翻譯的基本思想 74
5.3 圖像翻譯 75
5.3.1 DualGAN 75
5.3.2 CycleGAN 77
5.3.3 DiscoGAN 80
5.4 細粒度圖像翻譯 80
5.4.1 細粒度圖像翻譯中的問題 81
5.4.2 條件 DualGAN 82
5.4.3 討論 84
5.5 具有多路徑一致性的多域圖像翻譯 84
5.6 拓展 86
5.6.1 人臉相關任務 86
5.6.2 視覺語言任務 87
5.6.3 其他圖像相關任務 88
參考文獻 88
第 6 章 對偶學習在語音處理中的應用及拓展 93
6.1 神經(jīng)語音合成和識別 93
6.2 語音鏈的對偶學習 94
6.3 低資源語音處理的對偶學習 97
6.3.1 使用雙向序列建模的去噪自編碼 97
6.3.2 使用雙向序列建模的對偶重構 99
6.3.3 模型訓練 100
6.4 極低資源語音處理的對偶學習 101
6.4.1 預訓練和微調(diào) 103
6.4.2 對偶重構 103
6.4.3 知識蒸餾 104
6.4.4 LRSpeech 的性能 105
6.5 非母語語音識別的對偶學習 106
6.5.1 非母語語音識別的難點 106
6.5.2 基于對偶重構準則的方法 106
6.6 拓展 108
參考文獻 109
第 7 章 對偶有監(jiān)督學習 114
7.1 聯(lián)合概率準則 114
7.2 對偶有監(jiān)督學習算法 115
7.3 應用 117
7.3.1 神經(jīng)機器翻譯 117
7.3.2 圖像分類和生成 118
7.3.3 情感分析 119
7.3.4 問題回答和問題生成 120
7.3.5 代碼摘要和代碼生成 121
7.3.6 自然語言理解和生成 125
7.4 理論分析 126
參考文獻 127
第 8 章 對偶推斷 131
8.1 基本架構 131
8.2 應用 133
8.3 理論分析 134
參考文獻 136
第 9 章 基于邊緣概率的對偶半監(jiān)督學習 138
9.1 邊緣概率的高效估計 138
9.2 以邊緣概率為約束 140
9.3 無標數(shù)據(jù)的似然最大化 141
9.4 討論 143
參考文獻 144
第 10 章 對偶重構的理論解讀 148
10.1 概述 148
10.2 對偶重構準則在無監(jiān)督學習中的解讀 149
10.2.1 對偶無監(jiān)督映射的建模 149
10.2.2 存在的問題和簡單性假設 151
10.2.3 最小復雜度 152
10.3 對偶重構準則在半監(jiān)督學習中的解讀 154
10.3.1 算法和符號說明 155
10.3.2 雙語翻譯 156
10.3.3 多域?qū)ε紝W習 160
參考文獻 161
第 11 章 對偶學習和其他學習范式的聯(lián)系 164
11.1 對偶半監(jiān)督學習和協(xié)同訓練 164
11.2 對偶學習和多任務學習 166
11.3 對偶學習、GAN 和自編碼器 166
11.4 對偶有監(jiān)督學習和貝葉斯陰陽學習 167
11.5 對偶重構及相關概念 168
參考文獻 169
第 12 章 總結和展望 174
12.1 總結 174
12.2 未來研究方向 175
12.2.1 更多的學習環(huán)境和應用 175
12.2.2 提升訓練效率 177
12.2.3 理論研究 178
參考文獻 178