深度學(xué)習(xí)筆記

第1講神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)1
1.1機器學(xué)習(xí)與深度學(xué)習(xí)的關(guān)系2
1.2感知機與神經(jīng)網(wǎng)絡(luò)3
第2講神經(jīng)網(wǎng)絡(luò)的過擬合與正則化7
2.1機器學(xué)習(xí)的核心要義8
2.2范數(shù)與正則化9
2.3神經(jīng)網(wǎng)絡(luò)的正則化和Dropout11
第3講深度學(xué)習(xí)的優(yōu)化算法14
3.1機器學(xué)習(xí)的數(shù)學(xué)規(guī)約15
3.2損失函數(shù)和深度學(xué)習(xí)優(yōu)化算法15
3.3梯度下降法16
3.4從Momentum到Adam18
第4講卷積神經(jīng)網(wǎng)絡(luò)21
4.1CNN發(fā)展簡史與相關(guān)人物22
4.2卷積的含義23
4.3池化和全連接26
深度學(xué)習(xí)筆記目錄第5講CNN圖像學(xué)習(xí)過程與可視化28
5.1CNN的直觀理解29
5.2CNN圖像學(xué)習(xí)的可視化31
第6講CNN圖像分類：從LeNet5到EfficientNet37
6.1計算機視覺的三大任務(wù)38
6.2CNN圖像分類發(fā)展史39
第7講CNN目標檢測：從RCNN到Y(jié)OLO47
7.1目標檢測概述48
7.2CNN目標檢測算法49
第8講CNN圖像分割：從FCN到U-Net56
8.1語義分割和實例分割概述57
8.2語義分割58
第9講遷移學(xué)習(xí)理論與實踐65
9.1遷移學(xué)習(xí)：深度學(xué)習(xí)未來五年的驅(qū)動力？66
9.2遷移學(xué)習(xí)的使用場景66
9.3深度卷積網(wǎng)絡(luò)的可遷移性67
9.4遷移學(xué)習(xí)的使用方法68
9.5基于ResNet的遷移學(xué)習(xí)實驗68
第10講循環(huán)神經(jīng)網(wǎng)絡(luò)76
10.1從語音識別到自然語言處理77
10.2RNN：網(wǎng)絡(luò)架構(gòu)與技術(shù)79
10.3四種RNN結(jié)構(gòu)81
第11講長短期記憶網(wǎng)絡(luò)84
11.1深度神經(jīng)網(wǎng)絡(luò)的困擾：梯度爆炸與梯度消失85
11.2LSTM：讓RNN具備更好的記憶機制87
第12講自然語言處理與詞向量91
12.1自然語言處理簡介92
12.2詞匯表征93
12.3詞向量與語言模型94
第13講word2vec詞向量98
13.1word2vec99
13.2word2vec的訓(xùn)練過程：以CBOW為例100
第14講seq2seq與注意力模型104
14.1seq2seq的簡單介紹105
14.2注意力模型105
14.3基于seq2seq和Attention機制的機器翻譯實踐108
第15講語音識別118
15.1概述119
15.2信號處理與特征提取120
15.3傳統(tǒng)聲學(xué)模型122
15.4基于深度學(xué)習(xí)的聲學(xué)模型123
15.5端到端的語音識別系統(tǒng)簡介125
第16講從Embedding到XLNet：NLP預(yù)訓(xùn)練模型簡介127
16.1從Embedding到ELMo128
16.2特征提取器：Transformer129
16.3低調(diào)王者：GPT131
16.4封神之作：BERT131
16.5持續(xù)創(chuàng)新：XLNet132
第17講深度生成模型之自編碼器134
17.1自編碼器135
17.2自編碼器的降噪作用136
17.3變分自編碼器138
17.4VAE的Keras實現(xiàn)143
第18講深度生成模型之生成式對抗網(wǎng)絡(luò)148
18.1GAN149
18.2訓(xùn)練一個DCGAN151
第19講神經(jīng)風(fēng)格遷移、深度強化學(xué)習(xí)與膠囊網(wǎng)絡(luò)159
19.1神經(jīng)風(fēng)格遷移160
19.2深度強化學(xué)習(xí)162
19.3膠囊網(wǎng)絡(luò)166
第20講深度學(xué)習(xí)框架171
20.1概述172
20.2TensorFlow173
20.3Keras175
20.4PyTorch176
第21講深度學(xué)習(xí)數(shù)據(jù)集179
21.1CV經(jīng)典數(shù)據(jù)集180
21.2NLP經(jīng)典數(shù)據(jù)集187
參考文獻189