深度學習實戰(zhàn)

目 錄

第1章 深度學習的發(fā)展介紹 1

1.1 如何閱讀本書 3

1.2 深度學習沉浮史 3

1.2.1 模擬生物大腦的瘋狂遠古時代 4

1.2.2 聯(lián)結(jié)主義近代 5

1.2.3 百花齊放，層次結(jié)構(gòu)主導，模型巨大的當代 6

1.3 Python簡易教程 7

1.3.1 Anaconda搭建 7

1.3.2 IPython Notebook使用 7

1.3.3 Python基本用法 8

1.3.4 NumPy 15

1.3.5 Matplotlib 23

1.4 參考文獻 25

第2章 機器學習快速入門 27

2.1 學習算法 28

2.1.1 學習任務 29

2.1.2 性能度量 30

2.1.3 學習經(jīng)驗 32

2.2 代價函數(shù) 33

2.2.1 均方誤差函數(shù) 33

2.2.2 極大似然估計 34

2.3 梯度下降法 36

2.3.1 批量梯度下降法 38

2.3.2 *梯度下降法 39

2.4 過擬合與欠擬合 40

2.4.1 沒免費午餐理論 42

2.4.2 正則化 43

2.5 超參數(shù)與驗證集 44

2.6 Softmax編碼實戰(zhàn) 46

2.6.1 編碼說明 49

2.6.2 熟練使用CIFAR-10 數(shù)據(jù)集 50

2.6.3 顯式循環(huán)計算損失函數(shù)及其梯度 53

2.6.4 向量化表達式計算損失函數(shù)及其梯度 56

2.6.5 *小批量梯度下降算法訓練Softmax分類器 57

2.6.6 使用驗證數(shù)據(jù)選擇超參數(shù) 61

2.7 參考代碼 68

2.8 參考文獻 70

第3章 前饋神經(jīng)網(wǎng)絡 72

3.1 神經(jīng)元 73

3.1.1 Sigmoid神經(jīng)元 74

3.1.2 Tanh神經(jīng)元 75

3.1.3 ReLU神經(jīng)元 76

3.2 前饋神經(jīng)網(wǎng)絡 80

3.2.1 輸出層單元 80

3.2.2 隱藏層單元 80

3.2.3 網(wǎng)絡結(jié)構(gòu)設計 81

3.3 BP算法 82

3.4 深度學習編碼實戰(zhàn)上 86

3.4.1 實現(xiàn)仿射傳播 88

3.4.2 實現(xiàn)ReLU傳播 91

3.4.3 組合單層神經(jīng)元 93

3.4.4 實現(xiàn)淺層神經(jīng)網(wǎng)絡 96

3.4.5 實現(xiàn)深層全連接網(wǎng)絡 101

3.5 參考代碼 109

3.6 參考文獻 113

第4章 深度學習正則化 115

4.1 參數(shù)范數(shù)懲罰 116

4.1.1 L2參數(shù)正則化 118

4.1.2 L1正則化 119

4.2 參數(shù)綁定與參數(shù)共享 120

4.3 噪聲注入與數(shù)據(jù)擴充 120

4.4 稀疏表征 122

4.5 早停 123

4.6 Dropout 126

4.6.1 個體與集成 126

4.6.2 Dropout 127

4.7 深度學習編碼實戰(zhàn)中 129

4.7.1 Dropout傳播 131

4.7.2 組合Dropout傳播層 134

4.7.3 Dropout神經(jīng)網(wǎng)絡 136

4.7.4 解耦訓練器trainer 138

4.7.5 解耦更新器updater 143

4.7.6 正則化實驗 145

4.8 參考代碼 148

4.9 參考文獻 150

第5章 深度學習優(yōu)化 152

5.1 神經(jīng)網(wǎng)絡優(yōu)化困難 153

5.1.1 局部* 153

5.1.2 鞍點 154

5.1.3 梯度懸崖 154

5.1.4 梯度消失或梯度爆炸 155

5.1.5 梯度不精確 156

5.1.6 優(yōu)化理論的局限性 156

5.2 *梯度下降 156

5.3 動量學習法 158

5.4 AdaGrad和RMSProp 159

5.5 Adam 160

5.6 參數(shù)初始化策略 161

5.7 批量歸一化 163

5.7.1 BN算法詳解 163

5.7.2 BN傳播詳解 165

5.8 深度學習編碼實戰(zhàn)下 166

5.8.1 Momentum 167

5.8.2 RMSProp 171

5.8.3 Adam 172

5.8.4 更新規(guī)則比較 174

5.8.5 BN前向傳播 176

5.8.6 BN反向傳播 180

5.8.7 使用BN的全連接網(wǎng)絡 182

5.8.8 BN算法與權(quán)重標準差比較 188

5.9 參考代碼 191

5.10 參考文獻 195

第6章 卷積神經(jīng)網(wǎng)絡 196

6.1 卷積操作 197

6.2 卷積的意義 198

6.2.1 稀疏連接 199

6.2.2 參數(shù)共享 200

6.3 池化操作 201

6.4 設計卷積神經(jīng)網(wǎng)絡 204

6.4.1 跨步卷積 204

6.4.2 零填充 205

6.4.3 非共享卷積 206

6.4.4 平鋪卷積 207

6.5 卷積網(wǎng)絡編碼練習 208

6.5.1 卷積前向傳播 209

6.5.2 卷積反向傳播 212

6.5.3 *池化前向傳播 215

6.5.4 *池化反向傳播 218

6.5.5 向量化執(zhí)行 220

6.5.6 組合完整卷積層 223

6.5.7 淺層卷積網(wǎng)絡 224

6.5.8 空間批量歸一化 229

6.6 參考代碼 233

6.7 參考文獻 237

第7章 循環(huán)神經(jīng)網(wǎng)絡 238

7.1 循環(huán)神經(jīng)網(wǎng)絡 239

7.1.1 循環(huán)神經(jīng)元展開 239

7.1.2 循環(huán)網(wǎng)絡訓練 240

7.2 循環(huán)神經(jīng)網(wǎng)絡設計 242

7.2.1 雙向循環(huán)網(wǎng)絡結(jié)構(gòu) 242

7.2.2 編碼-解碼網(wǎng)絡結(jié)構(gòu) 243

7.2.3 深度循環(huán)網(wǎng)絡結(jié)構(gòu) 244

7.3 門控循環(huán)神經(jīng)網(wǎng)絡 245

7.3.1 LSTM 246

7.3.2 門控循環(huán)單元 249

7.4 RNN編程練習 250

7.4.1 RNN單步傳播 252

7.4.2 RNN時序傳播 255

7.4.3 詞嵌入 258

7.4.4 RNN輸出層 261

7.4.5 時序Softmax損失 262

7.4.6 RNN圖片說明任務 264

7.5 LSTM編程練習 269

7.5.1 LSTM單步傳播 269

7.5.2 LSTM時序傳播 273

7.5.3 LSTM實現(xiàn)圖片說明任務 276

7.6 參考代碼 278

7.6.1 RNN參考代碼 278

7.6.2 LSTM參考代碼 282

7.7 參考文獻 285

第8章 TensorFlow快速入門 287

8.1 TensorFlow介紹 288

8.2 TensorFlow 1.0安裝指南 289

8.2.1 雙版本切換Anaconda 289

8.2.2 安裝CUDA 8.0 291

8.2.3 安裝cuDNN 292

8.2.4 安裝TensorFlow 293

8.2.5 驗證安裝 294

8.3 TensorFlow基礎 295

8.3.1 Tensor 295

8.3.2 TensorFlow核心API教程 296

8.3.3 tf.train API 299

8.3.4 tf.contrib.learn 301

8.4 TensorFlow構(gòu)造CNN 305

8.4.1 構(gòu)建Softmax模型 305

8.4.2 使用TensorFlow訓練模型 307

8.4.3 使用TensorFlow評估模型 308

8.4.4 使用TensorFlow構(gòu)建卷積神經(jīng)網(wǎng)絡 308

8.5 TensorBoard快速入門 311

8.5.1 TensorBoard可視化學習 312

8.5.2 計算圖可視化 316