動手學PyTorch深度學習建模與應用

第1章 深度學習環(huán)境搭建 1
1.1 深度學習概述 1
1.1.1 深度學習發(fā)展歷史 1
1.1.2 深度學習框架比較 2
1.1.3 深度學習應用領域 5
1.2 搭建開發(fā)環(huán)境 6
1.2.1 安裝Python 3.10 6
1.2.2 安裝Jupyter Lab 10
1.2.3 安裝PyTorch 1.10 12
1.3 PyTorch應用場景 16
1.4 動手練習：每日最高溫度預測 17
1.5 練習題 20
第2章 PyTorch與數(shù)學基礎 21
2.1 PyTorch中的函數(shù) 21
2.1.1 函數(shù)基礎知識 21
2.1.2 PyTorch中的主要函數(shù) 24
2.2 微分基礎 26
2.2.1 微分及其公式 26
2.2.2 PyTorch自動微分 28
2.3 數(shù)理統(tǒng)計基礎 33
2.3.1 數(shù)理統(tǒng)計及其指標 33
2.3.2 PyTorch統(tǒng)計函數(shù) 38
2.4 矩陣基礎 46
2.4.1 矩陣及其運算 47
2.4.2 PyTorch矩陣運算 49
2.5 動手練習：擬合余弦函數(shù)曲線 54
2.6 練習題 57
第3章 PyTorch的基本概念 58
3.1 張量及其創(chuàng)建 58
3.1.1 張量及其數(shù)據(jù)類型 58
3.1.2 數(shù)組直接創(chuàng)建張量 59
3.1.3 概率分布創(chuàng)建張量 61
3.2 激活函數(shù) 62
3.2.1 激活函數(shù)及必要性 62
3.2.2 Sigmoid激活函數(shù) 63
3.2.3 Tanh激活函數(shù) 64
3.2.4 ReLU激活函數(shù) 65
3.2.5 Leakly ReLU激活函數(shù) 67
3.2.6 其他類型的激活函數(shù) 68
3.3 損失函數(shù) 69
3.3.1 損失函數(shù)及選取 69
3.3.2 L1范數(shù)損失函數(shù) 70
3.3.3 均方誤差損失函數(shù) 71
3.3.4 交叉熵損失函數(shù) 72
3.3.5 余弦相似度損失 73
3.3.6 其他損失函數(shù) 74
3.4 優(yōu)化器 74
3.4.1 梯度及梯度下降 74
3.4.2 隨機梯度下降算法 76
3.4.3 標準動量優(yōu)化算法 76
3.4.4 AdaGrad算法 77
3.4.5 RMSProp算法 77
3.4.6 Adam算法 78
3.5 動手練習：PyTorch優(yōu)化器比較 78
3.6 練習題 82
第4章 PyTorch深度神經(jīng)網(wǎng)絡 83
4.1 神經(jīng)網(wǎng)絡概述 83
4.1.1 神經(jīng)元模型 83
4.1.2 多層感知器 85
4.1.3 前饋神經(jīng)網(wǎng)絡 87
4.2 卷積神經(jīng)網(wǎng)絡 87
4.2.1 卷積神經(jīng)網(wǎng)絡的歷史 88
4.2.2 卷積神經(jīng)網(wǎng)絡的結構 88
4.2.3 卷積神經(jīng)網(wǎng)絡的類型 90
4.3 幾種常見的循環(huán)神經(jīng)網(wǎng)絡 93
4.3.1 循環(huán)神經(jīng)網(wǎng)絡 93
4.3.2 長短期記憶網(wǎng)絡 96
4.3.3 門控循環(huán)單元 97
4.4 動手練習：股票成交量趨勢預測 98
4.5 練習題 104
第5章 PyTorch數(shù)據(jù)建模 105
5.1 回歸分析及案例 105
5.1.1 回歸分析簡介 105
5.1.2 回歸分析建模 106
5.1.3 動手練習：住房價格回歸預測 109
5.2 聚類分析及案例 112
5.2.1 聚類分析簡介 113
5.2.2 聚類分析建模 113
5.2.3 動手練習：植物花卉特征聚類 115
5.3 主成分分析及案例 118
5.3.1 主成分分析簡介 118
5.3.2 主成分分析建模 119
5.3.3 動手練習：地區(qū)競爭力指標降維 120
5.4 模型評估與調(diào)優(yōu) 124
5.4.1 模型評估方法 124
5.4.2 模型調(diào)優(yōu)方法 128
5.4.3 動手練習：PyTorch實現(xiàn)交叉驗證 129
5.5 練習題 134
第6章 PyTorch圖像建模 135
6.1 圖像建模概述 135
6.1.1 圖像分類技術 135
6.1.2 圖像識別技術 136
6.1.3 圖像分割技術 137
6.2 動手練習：創(chuàng)建圖像自動分類器 138
6.2.1 加載數(shù)據(jù)集 138
6.2.2 搭建網(wǎng)絡模型 139
6.2.3 訓練網(wǎng)絡模型 140
6.2.4 應用網(wǎng)絡模型 141
6.3 動手練習：搭建圖像自動識別模型 142
6.3.1 加載數(shù)據(jù)集 142
6.3.2 搭建與訓練網(wǎng)絡 143
6.3.3 預測圖像數(shù)據(jù) 144
6.3.4 圖像識別模型的判斷 145
6.4 動手練習：搭建圖像自動分割模型 148
6.4.1 加載數(shù)據(jù)集 148
6.4.2 搭建網(wǎng)絡模型 149
6.4.3 訓練網(wǎng)絡模型 152
6.4.4 應用網(wǎng)絡模型 153
6.5 練習題 155
第7章 PyTorch文本建模 156
7.1 自然語言處理的幾個模型 156
7.1.1 Word2Vec模型 156
7.1.2 Seq2Seq模型 157
7.1.3 Attention模型 158
7.2 動手練習：Word2Vec提取相似文本 159
7.2.1 加載數(shù)據(jù)集 159
7.2.2 搭建網(wǎng)絡模型 162
7.2.3 訓練網(wǎng)絡模型 163
7.2.4 應用網(wǎng)絡模型 164
7.3 動手練習：Seq2Seq實現(xiàn)機器翻譯 165
7.3.1 加載數(shù)據(jù)集 165
7.3.2 搭建網(wǎng)絡模型 168
7.3.3 訓練網(wǎng)絡模型 172
7.3.4 應用網(wǎng)絡模型 174
7.4 動手練習：Attention模型實現(xiàn)文本自動分類 175
7.4.1 加載數(shù)據(jù)集 175
7.4.2 搭建網(wǎng)絡模型 177
7.4.3 訓練網(wǎng)絡模型 178
7.4.4 應用網(wǎng)絡模型 181
7.5 練習題 181
第8章 PyTorch音頻建模 182
8.1 音頻處理及應用 182
8.1.1 音頻處理技術 182
8.1.2 音頻摘要及應用 183
8.1.3 音頻識別及應用 184
8.1.4 音頻監(jiān)控及應用 185
8.1.5 場景感知及其應用 186
8.2 音頻特征提取步驟 187
8.2.1 特征提取流程 187
8.2.2 音頻預處理 187
8.2.3 傅里葉變換 188
8.2.4 能量譜處理 189
8.2.5 離散余弦轉(zhuǎn)換 190
8.3 PyTorch音頻建模 190
8.3.1 加載音頻數(shù)據(jù)源 190
8.3.2 波形變換的類型 191
8.3.3 繪制波形頻譜圖 192
8.3.4 波形Mu-Law編碼 194
8.3.5 變換前后波形比較 196
8.4 動手練習：音頻相似度分析 196
8.5 練習題 198
第9章 PyTorch模型可視化 199
9.1 Visdom 199
9.1.1 Visdom簡介 199
9.1.2 Visdom可視化操作 201
9.1.3 動手練習：識別手寫數(shù)字 214
9.2 TensorBoard 219
9.2.1 TensorBoard簡介 219
9.2.2 TensorBoard基礎操作 221
9.2.3 動手練習：可視化模型參數(shù) 229
9.3 Pytorchviz 231
9.3.1 Pytorchviz簡介 231
9.3.2 動手練習：Pytorchviz建?？梢暬?231
9.4 Netron 233
9.4.1 Netron簡介 233
9.4.2 動手練習：Netron建?？梢暬?234
9.5 練習題 237
第10章 PyTorch聯(lián)邦學習 238
10.1 聯(lián)邦學習算法簡介 238
10.1.1 聯(lián)邦學習提出背景 238
10.1.2 聯(lián)邦學習基本概念 239
10.2 聯(lián)邦學習主要類型 239
10.2.1 橫向聯(lián)邦學習及其過程 240
10.2.2 縱向聯(lián)邦學習及其過程 241
10.2.3 聯(lián)邦遷移學習及其過程 242
10.3 聯(lián)邦學習研究現(xiàn)狀 242
10.3.1 算法重要研究進展 242
10.3.2 聯(lián)邦學習算法優(yōu)化 243
10.3.3 主要應用前景介紹 244
10.4 動手練習：手寫數(shù)字識別 245
10.4.1 讀取手寫數(shù)據(jù)集 245
10.4.2 訓練與測試模型 246
10.4.3 模型結果輸出 250
10.5 練習題 252
附錄A Python常用第三方工具包簡介 253
A.1 數(shù)據(jù)分析類包 253
A.2 數(shù)據(jù)可視化類包 254
A.3 機器學習類包 255
參考文獻 258