PyTorch深度學(xué)習(xí)入門與實戰(zhàn)

目錄

第1章 PyTorch簡介
1.1 深度學(xué)習(xí)簡介 1
1.2 PyTorch的由來 2
1.2.1 深度學(xué)習(xí)框架回顧 2
1.2.2 PyTorch前身：Torch7 4
1.2.3 Torch7的重生 5
1.3 PyTorch與TensorFlow對比 5
1.3.1 TensorFlow簡介 6
1.3.2 動靜之爭 6
1.3.3 二者借鑒融合 7
1.3.4 PyTorch的優(yōu)勢 7
1.4 PyTorch發(fā)展現(xiàn)狀 8
1.4.1 主要版本特點回顧 8
1.4.2 準備工作 8

第2章 PyTorch基礎(chǔ)計算
2.1 PyTorch核心基礎(chǔ)概念：張量Tensor 11
2.1.1 Tensor基本介紹 11
2.1.2 Tensor數(shù)學(xué)運算操作 15
2.1.3 Tensor索引分片合并變換操作 20
2.1.4 Tensor類成員方法 22
2.1.5 在GPU上計算 24
2.2 PyTorch可微編程核心：自動微分Autograd 25
2.2.1 PyTorch自動微分簡介 25
2.2.2 可微分張量 25
2.2.3 利用自動微分求梯度 26
2.2.4 Function：自動微分實現(xiàn)基礎(chǔ) 29
2.2.5 注意事項 31
2.3 PyTorch應(yīng)用實戰(zhàn)一：實現(xiàn)卷積操作 34
2.3.1 卷積操作 34
2.3.2 利用張量操作實現(xiàn)卷積 36
2.4 PyTorch應(yīng)用實戰(zhàn)二：實現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)進行圖像分類 38

第3章 PyTorch構(gòu)建神經(jīng)網(wǎng)絡(luò)
3.1 PyTorch神經(jīng)網(wǎng)絡(luò)計算核心：torch.nn 43
3.1.1 nn.Module概述 43
3.1.2 結(jié)構(gòu)化構(gòu)建神經(jīng)網(wǎng)絡(luò) 47
3.1.3 經(jīng)典神經(jīng)網(wǎng)絡(luò)層介紹 49
3.1.4 函數(shù)式操作nn.functional 53
3.2 PyTorch優(yōu)化器 55
3.2.1 torch.optim概述 55
3.2.2 經(jīng)典優(yōu)化器介紹 56
3.2.3 學(xué)習(xí)率調(diào)整 57
3.3 PyTorch應(yīng)用實戰(zhàn)一：實現(xiàn)二值化神經(jīng)網(wǎng)絡(luò) 59
3.3.1 二值化網(wǎng)絡(luò)BinaryNet概述 59
3.3.2 具體實現(xiàn) 60
3.4 PyTorch應(yīng)用實戰(zhàn)二：利用LSTM實現(xiàn)文本情感分類 63
3.4.1 文本情感分類 63
3.4.2 具體實現(xiàn) 65

第4章 基于PyTorch構(gòu)建復(fù)雜應(yīng)用
4.1 PyTorch數(shù)據(jù)加載 70
4.1.1 數(shù)據(jù)預(yù)處理：torchvision.transforms 70
4.1.2 數(shù)據(jù)加載：torch.utils.data 73
4.2 PyTorch模型搭建 77
4.2.1 經(jīng)典模型復(fù)用與分享：torchvision.models 78
4.2.2 模型加載與保存 79
4.2.3 導(dǎo)出為ONNX格式 85
4.3 訓(xùn)練過程中日志記錄與可視化 89
4.4 PyTorch應(yīng)用實戰(zhàn)一：在CIFAR10數(shù)據(jù)集進行神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索 93
4.4.1 可微分網(wǎng)絡(luò)架構(gòu)搜索DARTS介紹 94
4.4.2 簡化問題建模：以ResNet為例 95
4.4.3 具體實現(xiàn) 96
4.5 PyTorch應(yīng)用實戰(zhàn)二：在ImageNet數(shù)據(jù)集進行弱監(jiān)督物體定位 108
4.5.1 GradCAM解釋顯著圖方法介紹 108
4.5.2 弱監(jiān)督物體定位任務(wù) 109
4.5.3 具體實現(xiàn) 110

第5章 PyTorch高級技巧與實戰(zhàn)應(yīng)用
5.1 PyTorch并行計算 118
5.1.1 大規(guī)模數(shù)據(jù)集加載 118
5.1.2 模型的高效并行計算 122
5.1.3 加速模型計算和減少顯存使用 125
5.2 擴展PyTorch 126
5.2.1 利用C++和CUDA實現(xiàn)自定義算子 126
5.2.2 利用TorchScript導(dǎo)出PyTorch模型 136
5.3 豐富的PyTorch資源介紹 145
5.4 PyTorch應(yīng)用實戰(zhàn)一：在ImageNet上訓(xùn)練MobileNet-V2網(wǎng)絡(luò) 146
5.4.1 MobileNet-V2網(wǎng)絡(luò)介紹 146
5.4.2 具體實現(xiàn) 147
5.5 PyTorch應(yīng)用實戰(zhàn)二：利用CUDA擴展實現(xiàn)MixConv算子 157
5.5.1 MixConv算子介紹 157
5.5.2 借鑒Depthwise卷積實現(xiàn)思路 158
5.5.3 具體實現(xiàn) 160

第6章 PyTorch完整實戰(zhàn)講解——網(wǎng)絡(luò)剪枝應(yīng)用
6.1 網(wǎng)絡(luò)剪枝介紹 169
6.1.1 剪枝方法分類 169
6.1.2 基于權(quán)重通道重要性的結(jié)構(gòu)化剪枝 170
6.1.3 問題定義與建模 170
6.2 具體實現(xiàn)思路 171
6.2.1 如何附屬控制門值 171
6.2.2 剪枝結(jié)構(gòu)搜索 172
6.2.3 剪枝模型訓(xùn)練 174
6.3 完整代碼實現(xiàn) 175
6.3.1 模型搭建 176
6.3.2 剪枝器實現(xiàn) 181
6.3.3 學(xué)習(xí)控制門變量 183
6.3.4 剪枝模型 187
6.3.5 訓(xùn)練模型 189
6.3.6 規(guī)模化啟動訓(xùn)練任務(wù) 193
6.4 實驗結(jié)果 198

參考文獻