123,123,123

內(nèi)容簡(jiǎn)介

　　本書(shū)系統(tǒng)全面地闡述了對(duì)偶學(xué)習(xí)，可以幫助相關(guān)研究人員和從業(yè)者更好地了解該領(lǐng)域的前沿技術(shù)。全書(shū)分為五部分。第一部分簡(jiǎn)要介紹機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的基礎(chǔ)知識(shí)。第二部分以機(jī)器翻譯、圖像翻譯、語(yǔ)音處理及其他自然語(yǔ)言處理/計(jì)算機(jī)視覺(jué)任務(wù)為例，詳細(xì)介紹了基于對(duì)偶重構(gòu)準(zhǔn)則的算法。算法包括對(duì)偶半監(jiān)督學(xué)習(xí)、對(duì)偶無(wú)監(jiān)督學(xué)習(xí)、多智能體對(duì)偶學(xué)習(xí)等。關(guān)于圖像翻譯，介紹了包括CycleGAN、DualGAN、DiscoGAN、cdGAN在內(nèi)的算法以及近期發(fā)展。第三部分介紹基于概率準(zhǔn)則的若干研究，包括基于聯(lián)合概率準(zhǔn)則的對(duì)偶有監(jiān)督學(xué)習(xí)和對(duì)偶推斷，以及基于邊緣概率準(zhǔn)則的對(duì)偶半監(jiān)督學(xué)習(xí)。第四部分從理論角度解讀了對(duì)偶學(xué)習(xí)，并且討論了和其他學(xué)習(xí)范式的聯(lián)系。第五部分總結(jié)了全書(shū)內(nèi)容并給出若干未來(lái)研究方向。本書(shū)還就進(jìn)一步閱讀提供了建議，給出了相關(guān)文獻(xiàn)，以幫助讀者深入了解該領(lǐng)域、推動(dòng)該領(lǐng)域的發(fā)展。

作者簡(jiǎn)介

　　秦濤微軟亞洲研究院首席研究員、深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)組負(fù)責(zé)人，IEEE、 ACM高級(jí)會(huì)員，中國(guó)科學(xué)技術(shù)大學(xué)客座教授，研究方向包括深度學(xué)習(xí)及其在自然語(yǔ)言、語(yǔ)音、圖像處理和藥物研發(fā)中的應(yīng)用，強(qiáng)化學(xué)習(xí)及其在游戲AI和實(shí)際問(wèn)題中的應(yīng)用，博弈論與多智能體系統(tǒng)及其在云計(jì)算和在線廣告中的應(yīng)用，信息檢索以及計(jì)算廣告。他的團(tuán)隊(duì)提出的對(duì)偶學(xué)習(xí)及其他技術(shù)幫助微軟于2018年在中英新聞翻譯任務(wù)上達(dá)到了人類專家的水平，獲得WMT 2019國(guó)際機(jī)器翻譯大賽8項(xiàng)冠軍，并集成到了微軟翻譯系統(tǒng)中。2019年，他和團(tuán)隊(duì)設(shè)計(jì)了當(dāng)時(shí)最高效的語(yǔ)音合成模型FastSpeech，該模型支撐了微軟云Azure上的所有語(yǔ)音（涵蓋100多種語(yǔ)言和270多種語(yǔ)音）合成服務(wù)。同年，研發(fā)了麻將AI Suphx，在“天鳳”平臺(tái)榮升十段，安定段位8.7，顯著超越人類頂級(jí)選手。

圖書(shū)目錄

譯者序
前言
致謝
第 1 章緒論 1
1.1 引言 1
1.2 人工智能任務(wù)中的結(jié)構(gòu)對(duì)偶性 3
1.3 對(duì)偶學(xué)習(xí)的劃分 4
1.3.1 依照使用數(shù)據(jù)劃分 4
1.3.2 依照對(duì)偶信號(hào)構(gòu)造準(zhǔn)則劃分 4
1.4 全書(shū)總覽 5
參考文獻(xiàn) 6
第 2 章機(jī)器學(xué)習(xí)基礎(chǔ) 10
2.1 機(jī)器學(xué)習(xí)范式 10
2.1.1 有監(jiān)督學(xué)習(xí) 11
2.1.2 無(wú)監(jiān)督學(xué)習(xí) 12
2.1.3 強(qiáng)化學(xué)習(xí) 13
2.1.4 其他學(xué)習(xí)范式 14
2.2 機(jī)器學(xué)習(xí)算法核心組成部分 14
2.3 泛化和正則化 16
2.4 搭建機(jī)器學(xué)習(xí)模型 17
2.4.1 數(shù)據(jù)收集和特征工程 18
2.4.2 算法選擇、模型訓(xùn)練、超參數(shù)調(diào)優(yōu) 18
參考文獻(xiàn) 19
第 3 章深度學(xué)習(xí)基礎(chǔ) 24
3.1 神經(jīng)網(wǎng)絡(luò) 24
3.2 卷積神經(jīng)網(wǎng)絡(luò) 27
3.3 序列建模 29
3.3.1 遞歸神經(jīng)網(wǎng)絡(luò)及其變種 30
3.3.2 編碼器解碼器架構(gòu) 31
3.3.3 Transformer 網(wǎng)絡(luò) 34
3.4 深度模型訓(xùn)練 36
3.4.1 隨機(jī)梯度下降法 37
3.4.2 正則化 38
3.5 為什么選擇深度神經(jīng)網(wǎng)絡(luò) 39
參考文獻(xiàn) 41
第 4 章對(duì)偶學(xué)習(xí)在機(jī)器翻譯中的應(yīng)用及拓展 48
4.1 機(jī)器翻譯簡(jiǎn)介 48
4.1.1 神經(jīng)機(jī)器翻譯 49
4.1.2 回譯技術(shù) 50
4.2 對(duì)偶重構(gòu)準(zhǔn)則 51
4.3 對(duì)偶半監(jiān)督學(xué)習(xí) 52
4.4 對(duì)偶無(wú)監(jiān)督學(xué)習(xí) 56
4.4.1 基本思想 56
4.4.2 系統(tǒng)架構(gòu)和訓(xùn)練算法 57
4.5 多智能體對(duì)偶學(xué)習(xí) 60
4.5.1 模型架構(gòu) 61
4.5.2 拓展和比較 62
4.5.3 多智能體對(duì)偶機(jī)器翻譯 63
4.6 拓展 65
4.6.1 語(yǔ)義解析 65
4.6.2 文本風(fēng)格遷移 66
4.6.3 對(duì)話 67
參考文獻(xiàn) 68
第 5 章對(duì)偶學(xué)習(xí)在圖像翻譯中的應(yīng)用及拓展 72
5.1 簡(jiǎn)介 72
5.2 無(wú)監(jiān)督圖像翻譯的基本思想 74
5.3 圖像翻譯 75
5.3.1 DualGAN 75
5.3.2 CycleGAN 77
5.3.3 DiscoGAN 80
5.4 細(xì)粒度圖像翻譯 80
5.4.1 細(xì)粒度圖像翻譯中的問(wèn)題 81
5.4.2 條件 DualGAN 82
5.4.3 討論 84
5.5 具有多路徑一致性的多域圖像翻譯 84
5.6 拓展 86
5.6.1 人臉相關(guān)任務(wù) 86
5.6.2 視覺(jué)語(yǔ)言任務(wù) 87
5.6.3 其他圖像相關(guān)任務(wù) 88
參考文獻(xiàn) 88
第 6 章對(duì)偶學(xué)習(xí)在語(yǔ)音處理中的應(yīng)用及拓展 93
6.1 神經(jīng)語(yǔ)音合成和識(shí)別 93
6.2 語(yǔ)音鏈的對(duì)偶學(xué)習(xí) 94
6.3 低資源語(yǔ)音處理的對(duì)偶學(xué)習(xí) 97
6.3.1 使用雙向序列建模的去噪自編碼 97
6.3.2 使用雙向序列建模的對(duì)偶重構(gòu) 99
6.3.3 模型訓(xùn)練 100
6.4 極低資源語(yǔ)音處理的對(duì)偶學(xué)習(xí) 101
6.4.1 預(yù)訓(xùn)練和微調(diào) 103
6.4.2 對(duì)偶重構(gòu) 103
6.4.3 知識(shí)蒸餾 104
6.4.4 LRSpeech 的性能 105
6.5 非母語(yǔ)語(yǔ)音識(shí)別的對(duì)偶學(xué)習(xí) 106
6.5.1 非母語(yǔ)語(yǔ)音識(shí)別的難點(diǎn) 106
6.5.2 基于對(duì)偶重構(gòu)準(zhǔn)則的方法 106
6.6 拓展 108
參考文獻(xiàn) 109
第 7 章對(duì)偶有監(jiān)督學(xué)習(xí) 114
7.1 聯(lián)合概率準(zhǔn)則 114
7.2 對(duì)偶有監(jiān)督學(xué)習(xí)算法 115
7.3 應(yīng)用 117
7.3.1 神經(jīng)機(jī)器翻譯 117
7.3.2 圖像分類和生成 118
7.3.3 情感分析 119
7.3.4 問(wèn)題回答和問(wèn)題生成 120
7.3.5 代碼摘要和代碼生成 121
7.3.6 自然語(yǔ)言理解和生成 125
7.4 理論分析 126
參考文獻(xiàn) 127
第 8 章對(duì)偶推斷 131
8.1 基本架構(gòu) 131
8.2 應(yīng)用 133
8.3 理論分析 134
參考文獻(xiàn) 136
第 9 章基于邊緣概率的對(duì)偶半監(jiān)督學(xué)習(xí) 138
9.1 邊緣概率的高效估計(jì) 138
9.2 以邊緣概率為約束 140
9.3 無(wú)標(biāo)數(shù)據(jù)的似然最大化 141
9.4 討論 143
參考文獻(xiàn) 144
第 10 章對(duì)偶重構(gòu)的理論解讀 148
10.1 概述 148
10.2 對(duì)偶重構(gòu)準(zhǔn)則在無(wú)監(jiān)督學(xué)習(xí)中的解讀 149
10.2.1 對(duì)偶無(wú)監(jiān)督映射的建模 149
10.2.2 存在的問(wèn)題和簡(jiǎn)單性假設(shè) 151
10.2.3 最小復(fù)雜度 152
10.3 對(duì)偶重構(gòu)準(zhǔn)則在半監(jiān)督學(xué)習(xí)中的解讀 154
10.3.1 算法和符號(hào)說(shuō)明 155
10.3.2 雙語(yǔ)翻譯 156
10.3.3 多域?qū)ε紝W(xué)習(xí) 160
參考文獻(xiàn) 161
第 11 章對(duì)偶學(xué)習(xí)和其他學(xué)習(xí)范式的聯(lián)系 164
11.1 對(duì)偶半監(jiān)督學(xué)習(xí)和協(xié)同訓(xùn)練 164
11.2 對(duì)偶學(xué)習(xí)和多任務(wù)學(xué)習(xí) 166
11.3 對(duì)偶學(xué)習(xí)、GAN 和自編碼器 166
11.4 對(duì)偶有監(jiān)督學(xué)習(xí)和貝葉斯陰陽(yáng)學(xué)習(xí) 167
11.5 對(duì)偶重構(gòu)及相關(guān)概念 168
參考文獻(xiàn) 169
第 12 章總結(jié)和展望 174
12.1 總結(jié) 174
12.2 未來(lái)研究方向 175
12.2.1 更多的學(xué)習(xí)環(huán)境和應(yīng)用 175
12.2.2 提升訓(xùn)練效率 177
12.2.3 理論研究 178
參考文獻(xiàn) 178