PyTorch深度學(xué)習(xí)簡(jiǎn)明實(shí)戰(zhàn)

目 錄
第1篇 深度學(xué)習(xí)基礎(chǔ)篇
第1 章 PyTorch 簡(jiǎn)介與安裝 ................. 2
1.1 PyTorch 簡(jiǎn)介 ................................... 2
1.2 PyTorch 的主要應(yīng)用 ....................... 3
1.3 PyTorch 安裝 ................................... 4
1.3.1 CPU 版本PyTorch 安裝 ..................... 5
1.3.2 GPU 版本PyTorch 安裝 ..................... 6
1.3.3 安裝輔助庫(kù)和安裝測(cè)試 ...................... 7
1.4 本章小結(jié) ....................................... 10
第2 章 機(jī)器學(xué)習(xí)基礎(chǔ)與線性回歸 ....... 11
2.1 機(jī)器學(xué)習(xí)基礎(chǔ) ............................... 11
2.2 線性回歸 ....................................... 12
2.3 本章小結(jié) ....................................... 18
第3 章 張量與數(shù)據(jù)類型 ...................... 19
3.1 PyTorch 張量 ................................. 19
3.1.1 初始化張量 ....................................... 19
3.1.2 張量類型 ........................................... 20
3.1.3 創(chuàng)建隨機(jī)值張量 ............................... 21
3.1.4 張量屬性 ........................................... 22
3.1.5 將張量移動(dòng)到顯存 ........................... 22
3.2 張量運(yùn)算 ....................................... 23
3.2.1 與NumPy 數(shù)據(jù)類型的轉(zhuǎn)換 ............. 24
3.2.2 張量的變形 ....................................... 24
3.3 張量的自動(dòng)微分 ............................ 25
3.4 本章小結(jié) ........................................ 26
第4 章 分類問(wèn)題與多層感知器 ........... 27
4.1 torchvision 庫(kù) ................................. 27
4.2 加載內(nèi)置圖片數(shù)據(jù)集 .................... 27
4.3 多層感知器 .................................... 30
4.4 激活函數(shù) ........................................ 33
4.4.1 ReLU 激活函數(shù) ................................ 33
4.4.2 Sigmoid 激活函數(shù) ............................. 34
4.4.3 Tanh 激活函數(shù) .................................. 35
4.4.4 LeakyReLU 激活函數(shù) ....................... 36
4.5 本章小結(jié) ........................................ 37
第5 章 多層感知器模型與模型訓(xùn)練 .... 38
5.1 多層感知器模型 ............................ 38
5.2 損失函數(shù) ........................................ 40
5.3 優(yōu)化器 ............................................ 41
5.4 初始化模型 .................................... 42
5.5 編寫訓(xùn)練循環(huán) ................................ 42
5.6 本章小結(jié) ........................................ 46
第6 章 梯度下降法、反向傳播算法與內(nèi)置優(yōu)化器 ......................... 47
6.1 梯度下降法 .................................... 47
6.2 反向傳播算法 ............................... 49
6.3 PyTorch 內(nèi)置的優(yōu)化器 ................. 50
6.3.1 SGD 優(yōu)化器 ...................................... 51
6.3.2 RMSprop 優(yōu)化器 .............................. 51
6.3.3 Adam 優(yōu)化器 .................................... 51
6.4 本章小結(jié) ........................................ 52
第2 篇 計(jì)算機(jī)視覺篇
第7 章 計(jì)算機(jī)視覺與卷積神經(jīng)網(wǎng)絡(luò) .... 54
7.1 什么是卷積神經(jīng)網(wǎng)絡(luò) ................... 54
7.2 池化層 ........................................... 57
7.3 卷積神經(jīng)網(wǎng)絡(luò)的整體架構(gòu) ............ 59
7.4 本章小結(jié) ....................................... 60
第8 章 卷積入門實(shí)例 ......................... 61
8.1 數(shù)據(jù)輸入 ....................................... 61
8.2 創(chuàng)建卷積模型并訓(xùn)練 ................... 62
8.3 函數(shù)式API .................................... 66
8.4 超參數(shù)選擇 ................................... 67
8.5 本章小結(jié) ....................................... 68
第9 章 圖像讀取與模型保存 ............... 69
9.1 加載圖片數(shù)據(jù)集 ........................... 69
9.2 創(chuàng)建圖片分類模型 ....................... 74
9.3 模型保存 ....................................... 77
9.3.1 保存和加載模型權(quán)重........................ 77
9.3.2 保存和恢復(fù)檢查點(diǎn) ........................... 77
9.3.3 保存最優(yōu)參數(shù) ................................... 79
9.4 本章小結(jié) ....................................... 80
第10 章 多分類問(wèn)題與卷積模型的優(yōu)化 ..................................... 82
10.1 創(chuàng)建自定義Dataset 類 ................ 82
10.2 基礎(chǔ)卷積模型 ............................. 87
10.3 Dropout 抑制過(guò)擬合 .................... 89
10.4 批標(biāo)準(zhǔn)化 ...................................... 93
10.5 學(xué)習(xí)速率衰減 .............................. 96
10.6 本章小結(jié) ...................................... 98
第11 章 遷移學(xué)習(xí)與數(shù)據(jù)增強(qiáng) ............. 99
11.1 什么是遷移學(xué)習(xí) .......................... 99
11.2 數(shù)據(jù)增強(qiáng) .................................... 103
11.3 微調(diào) ............................................ 109
11.4 本章小結(jié) .................................... 112
第12 章 經(jīng)典網(wǎng)絡(luò)模型與特征提取 ... 113
12.1 VGG ........................................... 113
12.2 ResNet ........................................ 115
12.3 TensorBoard 可視化 .................. 117
12.4 ResNetBasicBlock 結(jié)構(gòu) ............. 120
12.5 Inception ..................................... 123
12.6 DenseNet .................................... 126
12.7 DenseNet 預(yù)訓(xùn)練模型提取特征 .................................... 128
12.8 本章小結(jié) .................................... 131
第13 章 圖像定位基礎(chǔ) ..................... 132
13.1 簡(jiǎn)單圖像定位模型 .................... 132
13.2 數(shù)據(jù)集觀察 ................................ 133
13.3 創(chuàng)建模型輸入 ............................ 138
13.4 創(chuàng)建圖像定位模型 ................... 141
13.5 模型保存與測(cè)試 ....................... 146
13.6 本章小結(jié) ................................... 147
第14 章 圖像語(yǔ)義分割 ..................... 148
14.1 常見圖像處理任務(wù) ................... 148
14.2 圖像語(yǔ)義分割 ........................... 150
14.3 U-Net 語(yǔ)義分割模型 ................. 152
14.4 創(chuàng)建輸入dataset ........................ 154
14.5 反卷積 ........................................ 158
14.6 U-Net 模型代碼實(shí)現(xiàn) ................. 159
14.7 模型訓(xùn)練 .................................... 163
14.8 模型的保存和預(yù)測(cè) .................... 166
14.9 本章小結(jié) .................................... 168
第3 篇 自然語(yǔ)言處理和序列篇
第15 章 文本分類與詞嵌入 .............. 172
15.1 文本的數(shù)值表示 ....................... 172
15.1.1 Word2vec ....................................... 174
15.1.2 Glove ............................................. 174
15.1.3 Embedding Layer ........................... 174
15.2 torchtext 加載內(nèi)置文本數(shù)據(jù)集 .. 175
15.3 創(chuàng)建DataLoader 和文本分類模型 ........................................... 178
15.3.1 Xavier 初始化方法 ........................ 181
15.3.2 kaiming 初始化方法 ..................... 182
15.4 本章小結(jié) ................................... 184
第16 章 循環(huán)神經(jīng)網(wǎng)絡(luò)與一維卷積神經(jīng)網(wǎng)絡(luò) ............................ 185
16.1 循環(huán)神經(jīng)網(wǎng)絡(luò)的概念................ 185
16.2 長(zhǎng)短期記憶網(wǎng)絡(luò) ........................ 192
16.3 門控循環(huán)單元 ............................ 194
16.4 LSTM 和GRU 高階API ........... 195
16.5 循環(huán)神經(jīng)網(wǎng)絡(luò)的應(yīng)用 ................ 197
16.6 中文文本分類實(shí)例 .................... 198
16.7 LSTM 模型的優(yōu)化 .................... 201
16.8 一維卷積神經(jīng)網(wǎng)絡(luò) .................... 203
16.9 本章小結(jié) .................................... 207
第17 章 序列預(yù)測(cè)實(shí)例 ..................... 208
17.1 時(shí)間序列數(shù)據(jù)集準(zhǔn)備 ................ 208
17.2 序列預(yù)測(cè)模型 ............................ 214
17.3 本章小結(jié) .................................... 215
第4 篇 生成對(duì)抗網(wǎng)絡(luò)和目標(biāo)檢測(cè)篇
第18 章 生成對(duì)抗網(wǎng)絡(luò) ..................... 218
18.1 GAN 的概念及應(yīng)用 .................. 218
18.1.1 什么是GAN .................................. 218
18.1.2 GAN 的應(yīng)用 .................................. 220
18.2 基本的GAN 實(shí)例 ..................... 221
18.3 深度卷積生成對(duì)抗網(wǎng)絡(luò) ............ 227
18.4 本章小結(jié) .................................... 231
第19 章 目標(biāo)檢測(cè) ............................ 232
19.1 什么是目標(biāo)檢測(cè) ....................... 232
19.2 常用目標(biāo)檢測(cè)算法 ................... 234
19.3 PyTorch 目標(biāo)檢測(cè)模塊 ............. 236
19.4 目標(biāo)檢測(cè)的圖像標(biāo)注................ 241
19.5 使用自行標(biāo)注數(shù)據(jù)集訓(xùn)練目標(biāo)檢測(cè)模型 ............................ 242
19.6 本章小結(jié) .................................... 249
參考文獻(xiàn) ............................................ 250