深度學習筆記

第1講神經(jīng)網(wǎng)絡(luò)與深度學習1
1.1機器學習與深度學習的關(guān)系2
1.2感知機與神經(jīng)網(wǎng)絡(luò)3
第2講神經(jīng)網(wǎng)絡(luò)的過擬合與正則化7
2.1機器學習的核心要義8
2.2范數(shù)與正則化9
2.3神經(jīng)網(wǎng)絡(luò)的正則化和Dropout11
第3講深度學習的優(yōu)化算法14
3.1機器學習的數(shù)學規(guī)約15
3.2損失函數(shù)和深度學習優(yōu)化算法15
3.3梯度下降法16
3.4從Momentum到Adam18
第4講卷積神經(jīng)網(wǎng)絡(luò)21
4.1CNN發(fā)展簡史與相關(guān)人物22
4.2卷積的含義23
4.3池化和全連接26
深度學習筆記目錄第5講CNN圖像學習過程與可視化28
5.1CNN的直觀理解29
5.2CNN圖像學習的可視化31
第6講CNN圖像分類：從LeNet5到EfficientNet37
6.1計算機視覺的三大任務(wù)38
6.2CNN圖像分類發(fā)展史39
第7講CNN目標檢測：從RCNN到Y(jié)OLO47
7.1目標檢測概述48
7.2CNN目標檢測算法49
第8講CNN圖像分割：從FCN到U-Net56
8.1語義分割和實例分割概述57
8.2語義分割58
第9講遷移學習理論與實踐65
9.1遷移學習：深度學習未來五年的驅(qū)動力？66
9.2遷移學習的使用場景66
9.3深度卷積網(wǎng)絡(luò)的可遷移性67
9.4遷移學習的使用方法68
9.5基于ResNet的遷移學習實驗68
第10講循環(huán)神經(jīng)網(wǎng)絡(luò)76
10.1從語音識別到自然語言處理77
10.2RNN：網(wǎng)絡(luò)架構(gòu)與技術(shù)79
10.3四種RNN結(jié)構(gòu)81
第11講長短期記憶網(wǎng)絡(luò)84
11.1深度神經(jīng)網(wǎng)絡(luò)的困擾：梯度爆炸與梯度消失85
11.2LSTM：讓RNN具備更好的記憶機制87
第12講自然語言處理與詞向量91
12.1自然語言處理簡介92
12.2詞匯表征93
12.3詞向量與語言模型94
第13講word2vec詞向量98
13.1word2vec99
13.2word2vec的訓練過程：以CBOW為例100
第14講seq2seq與注意力模型104
14.1seq2seq的簡單介紹105
14.2注意力模型105
14.3基于seq2seq和Attention機制的機器翻譯實踐108
第15講語音識別118
15.1概述119
15.2信號處理與特征提取120
15.3傳統(tǒng)聲學模型122
15.4基于深度學習的聲學模型123
15.5端到端的語音識別系統(tǒng)簡介125
第16講從Embedding到XLNet：NLP預訓練模型簡介127
16.1從Embedding到ELMo128
16.2特征提取器：Transformer129
16.3低調(diào)王者：GPT131
16.4封神之作：BERT131
16.5持續(xù)創(chuàng)新：XLNet132
第17講深度生成模型之自編碼器134
17.1自編碼器135
17.2自編碼器的降噪作用136
17.3變分自編碼器138
17.4VAE的Keras實現(xiàn)143
第18講深度生成模型之生成式對抗網(wǎng)絡(luò)148
18.1GAN149
18.2訓練一個DCGAN151
第19講神經(jīng)風格遷移、深度強化學習與膠囊網(wǎng)絡(luò)159
19.1神經(jīng)風格遷移160
19.2深度強化學習162
19.3膠囊網(wǎng)絡(luò)166
第20講深度學習框架171
20.1概述172
20.2TensorFlow173
20.3Keras175
20.4PyTorch176
第21講深度學習數(shù)據(jù)集179
21.1CV經(jīng)典數(shù)據(jù)集180
21.2NLP經(jīng)典數(shù)據(jù)集187
參考文獻189