PyTorch深度學(xué)習(xí)入門與技術(shù)實踐

第1章?深度學(xué)習(xí)快速入門
1.1?各種深度學(xué)習(xí)應(yīng)用
1.2?準(zhǔn)備開發(fā)環(huán)境
1.2.1?Linux基礎(chǔ)
1.2.2?Micro編輯器
1.2.3?在Linux系統(tǒng)中安裝Python
1.2.4?選擇Python版本
1.2.5?在Windows系統(tǒng)中安裝Python
1.3?體驗PyTorch
1.3.1?安裝PyTorch
1.3.2?PyTorch中的計算圖
1.3.3　用三階多項式擬合函數(shù)
1.3.4?實現(xiàn)手寫數(shù)字識別
1.4?本章小結(jié)
第2章?Python技術(shù)基礎(chǔ)
2.1?變量
2.2?注釋
2.3?簡單數(shù)據(jù)類型
2.3.1?數(shù)值
2.3.2?字符串
2.3.3?數(shù)組
2.4?字面值
2.5?控制流
2.5.1?條件語句
2.5.2?循環(huán)語句
2.6?列表
2.7?元組
2.8?集合
2.9?字典
2.10?位數(shù)組
2.11?模塊
2.12?函數(shù)
2.13?print函數(shù)
2.14?正則表達式
2.15?文件操作
2.15.1?讀寫文件
2.15.2?重命名文件
2.15.3?遍歷文件
2.16?with語句
2.17?使用pickle模塊序列化對象
2.18?面向?qū)ο缶幊?br />2.19?命令行參數(shù)
2.20?數(shù)據(jù)庫
2.21?JSON格式
2.22?日志記錄
2.23?異常處理
2.24?本章小結(jié)
第3章?PyTorch中的深度學(xué)習(xí)
3.1?神經(jīng)網(wǎng)絡(luò)基礎(chǔ)
3.1.1?實現(xiàn)深度前饋網(wǎng)絡(luò)
3.1.2?計算過程
3.2?卷積神經(jīng)網(wǎng)絡(luò)
3.3?PyTorch基礎(chǔ)知識
3.3.1?創(chuàng)建張量
3.3.2?隨機張量
3.3.3?零和一
3.3.4?范圍張量
3.3.5?張量數(shù)據(jù)類型
3.3.6?從張量獲取信息
3.3.7?操縱張量
3.3.8?深度學(xué)習(xí)中最常見的錯誤之一（形狀錯誤）
3.3.9?求最小值、最大值、平均值、總和等
3.3.10?最大值、最小值的所處位置
3.3.11?更改張量數(shù)據(jù)類型
3.3.12?重塑、堆疊、壓縮和解壓
3.3.13?索引（從張量中選擇數(shù)據(jù)）
3.3.14?PyTorch張量和NumPy
3.3.15?再現(xiàn)性（試圖從隨機中提取隨機性）
3.4?transformer架構(gòu)
3.4.1?編碼器
3.4.2?解碼器
3.4.3?生成概率分布
3.5?為PyTorch模型提供服務(wù)
3.6?本章小結(jié)
第4章?PyTorch開發(fā)深度學(xué)習(xí)應(yīng)用
4.1?文本分類
4.1.1?準(zhǔn)備數(shù)據(jù)集
4.1.2?定義網(wǎng)絡(luò)
4.1.3?訓(xùn)練網(wǎng)絡(luò)
4.2?開發(fā)聊天機器人
4.3?用Wav2Vec 2.0進行語音識別
4.4?機器翻譯
4.5?本章小結(jié)
第5章?分布式PyTorch
5.1?PyTorch分布式概述
5.1.1?數(shù)據(jù)并行訓(xùn)練
5.1.2?基于RPC的分布式訓(xùn)練
5.2?數(shù)據(jù)并行
5.3?單機模型并行最佳實踐
5.4?分布式數(shù)據(jù)并行入門
5.5?用PyTorch編寫分布式應(yīng)用程序
5.6?完全分片數(shù)據(jù)并行入門
5.7?基于完全分片數(shù)據(jù)并行的高級模型訓(xùn)練
5.8?分布式RPC框架入門
5.8.1?使用RPC和RRef的分布式強化學(xué)習(xí)
5.8.2?使用分布式Autograd和分布式優(yōu)化器的分布式RNN
5.9?使用分布式RPC框架實現(xiàn)參數(shù)服務(wù)器
5.10?基于RPC的分布式流水線并行
5.10.1?步驟1：分區(qū)ResNet50模型
5.10.2?步驟2：將ResNet50模型分片拼接到一個模塊中
5.10.3?步驟3：定義訓(xùn)練循環(huán)
5.10.4?步驟4：啟動RPC進程
5.11?使用異步執(zhí)行實現(xiàn)批量RPC處理
5.11.1?批量更新參數(shù)服務(wù)器
5.11.2?批量處理CartPole求解器
5.12?分布式數(shù)據(jù)并行與分布式RPC框架的結(jié)合
5.13?使用流水線并行性訓(xùn)練transformer模型
5.14?本章小結(jié)