Python深度元學(xué)習(xí)算法

 
第1章元學(xué)習(xí)簡(jiǎn)介1
1.1元學(xué)習(xí)1
1.2元學(xué)習(xí)的類(lèi)型2
1.2.1學(xué)習(xí)度量空間2
1.2.2學(xué)習(xí)初始化3
1.2.3學(xué)習(xí)優(yōu)化器3
1.3嵌套梯度下降法實(shí)現(xiàn)元學(xué)習(xí)4
1.4少樣本學(xué)習(xí)的優(yōu)化模型6
1.5小結(jié)9
1.6思考題9
參考文獻(xiàn)9第2章深度學(xué)習(xí)11
2.1深度學(xué)習(xí)的概念11
2.2深度神經(jīng)網(wǎng)絡(luò)概述12
2.2.1人工神經(jīng)網(wǎng)絡(luò)12
2.2.2深度神經(jīng)網(wǎng)絡(luò)15
2.3卷積神經(jīng)網(wǎng)絡(luò)概述17
2.3.1卷積神經(jīng)網(wǎng)絡(luò)17
2.3.2卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)17
2.3.3卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練24
2.3.4VGG——卷積神經(jīng)網(wǎng)絡(luò)的代表性網(wǎng)絡(luò)25
2.4循環(huán)神經(jīng)網(wǎng)絡(luò)28
2.4.1循環(huán)神經(jīng)網(wǎng)絡(luò)概念28
2.4.2長(zhǎng)短期記憶（LSTM）網(wǎng)絡(luò)30
2.5生成對(duì)抗網(wǎng)絡(luò)32
2.5.1生成器33
2.5.2判別器34
2.5.3訓(xùn)練過(guò)程35
2.5.4小結(jié)36
2.6Transformer及擴(kuò)散模型37
2.6.1編碼組件38
2.6.2解碼組件39
2.6.3擴(kuò)散模型40
2.7小結(jié)42
2.8思考題43
參考文獻(xiàn)43第3章孿生網(wǎng)絡(luò)45
3.1孿生網(wǎng)絡(luò)簡(jiǎn)介45
3.2孿生網(wǎng)絡(luò)的架構(gòu)47
3.3孿生網(wǎng)絡(luò)的衍生48
3.3.1偽孿生網(wǎng)絡(luò)49
3.3.2三胞胎連體網(wǎng)絡(luò)49
3.3.3三胞胎偽孿生網(wǎng)絡(luò)50
3.4孿生網(wǎng)絡(luò)的發(fā)展及應(yīng)用51
3.5案例： 利用孿生網(wǎng)絡(luò)進(jìn)行圖像識(shí)別52
3.6小結(jié)59
3.7思考題59
參考文獻(xiàn)60第4章原型網(wǎng)絡(luò)及其變體61
4.1原型網(wǎng)絡(luò)61
4.1.1原型網(wǎng)絡(luò)的基本算法63
4.1.2用于分類(lèi)的原型網(wǎng)絡(luò)結(jié)構(gòu)64
4.2高斯原型網(wǎng)絡(luò)67
4.3半原型網(wǎng)絡(luò)69
4.4小結(jié)71
4.5思考題72
參考文獻(xiàn)72第5章關(guān)系網(wǎng)絡(luò)與匹配網(wǎng)絡(luò)73
5.1關(guān)系網(wǎng)絡(luò)73
5.1.1單樣本學(xué)習(xí)中的關(guān)系網(wǎng)絡(luò)74
5.1.2少樣本學(xué)習(xí)中的關(guān)系網(wǎng)絡(luò)77
5.1.3零樣本學(xué)習(xí)中的關(guān)系網(wǎng)絡(luò)78
5.2匹配網(wǎng)絡(luò)85
5.3小結(jié)86
5.4思考題87
參考文獻(xiàn)87第6章記憶增強(qiáng)神經(jīng)網(wǎng)絡(luò)88
6.1神經(jīng)圖靈機(jī)（NTM）89
6.1.1NTM中的讀、寫(xiě)機(jī)制90
6.1.2尋址機(jī)制92
6.2基于NTM的復(fù)制任務(wù)94
6.2.1NTM模型的初始化94
6.2.2定義讀寫(xiě)操作97
6.2.3定義尋址機(jī)制98
6.2.4定義復(fù)制任務(wù)100
6.2.5定義訓(xùn)練函數(shù)102
6.2.6實(shí)現(xiàn)重復(fù)復(fù)制105
6.3記憶增強(qiáng)神經(jīng)網(wǎng)絡(luò)（MANN）111
6.3.1MANN的讀操作111
6.3.2MANN的寫(xiě)操作113
6.3.3MANN的應(yīng)用114
6.4小結(jié)116
6.5思考題116
參考文獻(xiàn)117第7章模型無(wú)關(guān)元學(xué)習(xí)及其變種118
7.1MAML118
7.1.1MAML算法121
7.1.2監(jiān)督學(xué)習(xí)中的MAML123
7.1.3從頭構(gòu)建MAML125
7.1.4強(qiáng)化學(xué)習(xí)中的MAML142
7.2ADML144
7.2.1FGSM144
7.2.2ADML的流程145
7.2.3從頭構(gòu)建ADML146
7.3CAML151
7.4小結(jié)152
7.5思考題153
參考文獻(xiàn)153第8章MetaSGD和Reptile154
8.1MetaSGD簡(jiǎn)介154
8.1.1MetaSGD用于監(jiān)督學(xué)習(xí)155
8.1.2MetaSGD用于強(qiáng)化學(xué)習(xí)160
8.2Reptile簡(jiǎn)介163
8.2.1Reptile的基本算法164
8.2.2Reptile用于正弦曲線(xiàn)回歸166
8.3小結(jié)168
8.4思考題169
參考文獻(xiàn)170第9章新進(jìn)展與未來(lái)方向171
9.1元模仿學(xué)習(xí)171
9.2任務(wù)無(wú)關(guān)元學(xué)習(xí)174
9.2.1熵最大化/熵約簡(jiǎn)175
9.2.2不平等最小化177
9.3無(wú)監(jiān)督元學(xué)習(xí)181
9.4樣本抽樣自適應(yīng)元學(xué)習(xí)183
9.5任務(wù)難度自適應(yīng)元學(xué)習(xí)186
9.6小結(jié)189
9.7思考題190
參考文獻(xiàn)190