深度學(xué)習(xí)算法實(shí)踐（基于Theano和TensorFlow）

目 錄
第一部分 深度學(xué)習(xí)算法概述
第1章 深度學(xué)習(xí)算法簡介 2
1．1 神經(jīng)網(wǎng)絡(luò)發(fā)展簡史 2
1．1．1 神經(jīng)網(wǎng)絡(luò)第一次興起 3
1．1．2 神經(jīng)網(wǎng)絡(luò)沉寂期（20世紀(jì)80年代―21世紀(jì)） 4
1．1．3 神經(jīng)網(wǎng)絡(luò)技術(shù)積累期（20世紀(jì)90年代―2006年） 5
1．1．4 深度學(xué)習(xí)算法崛起（2006年至今） 8
1．2 深度學(xué)習(xí)現(xiàn)狀 10
1．2．1 傳統(tǒng)神經(jīng)網(wǎng)絡(luò)困境 10
1．2．2 深度多層感知器 12
1．2．3 深度卷積神經(jīng)網(wǎng)絡(luò) 14
1．2．4 深度遞歸神經(jīng)網(wǎng)絡(luò) 15
1．3 深度學(xué)習(xí)研究前瞻 16
1．3．1 自動(dòng)編碼機(jī) 17
1．3．2 深度信念網(wǎng)絡(luò) 18
1．3．3 生成式網(wǎng)絡(luò)最新進(jìn)展 19
1．4 深度學(xué)習(xí)框架比較 20
1．4．1 TensorFlow 20
1．4．2 Theano 21
1．4．3 Torch 22
1．4．4 DeepLearning4J 23
1．4．5 Caffe 23
1．4．6 MXNet 24
1．4．7 CNTK 27
1．4．8 深度學(xué)習(xí)框架造型指導(dǎo)原則 27
1．5 深度學(xué)習(xí)入門路徑 28
1．5．1 運(yùn)行MNIST 28
1．5．2 深度學(xué)習(xí)框架的選擇 29
1．5．3 小型試驗(yàn)網(wǎng)絡(luò) 33
1．5．4 訓(xùn)練生產(chǎn)網(wǎng)絡(luò) 33
1．5．5 搭建生產(chǎn)環(huán)境 34
1．5．6 持續(xù)改進(jìn) 35
第二部分 深度學(xué)習(xí)算法基礎(chǔ)
第2章 搭建深度學(xué)習(xí)開發(fā)環(huán)境 38
2．1 安裝Python開發(fā)環(huán)境 38
2．1．1 安裝最新版本Python 38
2．1．2 Python虛擬環(huán)境配置 39
2．1．3 安裝科學(xué)計(jì)算庫 40
2．1．4 安裝最新版本Theano 40
2．1．5 圖形繪制 40
2．2 NumPy簡易教程 43
2．2．1 Python基礎(chǔ) 43
2．2．2 多維數(shù)組的使用 51
2．2．3 向量運(yùn)算 58
2．2．4 矩陣運(yùn)算 60
2．2．5 線性代數(shù) 62
2．3 TensorFlow簡易教程 68
2．3．1 張量定義 69
2．3．2 變量和placeholder 69
2．3．3 神經(jīng)元激活函數(shù) 71
2．3．4 線性代數(shù)運(yùn)算 72
2．3．5 操作數(shù)據(jù)集 74
2．4 Theano簡易教程 77
2．4．1 安裝Theano 77
2．4．2 Theano入門 78
2．4．3 Theano矩陣相加 79
2．4．4 變量和共享變量 80
2．4．5 隨機(jī)數(shù)的使用 84
2．4．6 Theano求導(dǎo) 84
2．5 線性回歸 86
2．5．1 問題描述 86
2．5．2 線性模型 88
2．5．3 線性回歸學(xué)習(xí)算法 89
2．5．4 解析法 90
2．5．5 Theano實(shí)現(xiàn) 93
第3章 邏輯回歸 100
3．1 邏輯回歸數(shù)學(xué)基礎(chǔ) 100
3．1．1 邏輯回歸算法的直觀解釋 100
3．1．2 邏輯回歸算法數(shù)學(xué)推導(dǎo) 101
3．1．3 牛頓法解邏輯回歸問題 103
3．1．4 通用學(xué)習(xí)模型 106
3．2 邏輯回歸算法簡單應(yīng)用 113
3．3 MNIST手寫數(shù)字識(shí)別庫簡介 124
3．4 邏輯回歸MNIST手寫數(shù)字識(shí)別 126
第4章 感知器模型和MLP 139
4．1 感知器模型 139
4．1．1 神經(jīng)元模型 139
4．1．2 神經(jīng)網(wǎng)絡(luò)架構(gòu) 143
4．2 數(shù)值計(jì)算形式 144
4．2．1 前向傳播 144
4．2．2 誤差反向傳播 145
4．2．3 算法推導(dǎo) 147
4．3 向量化表示形式 152
4．4 應(yīng)用要點(diǎn) 153
4．4．1 輸入信號(hào)模型 154
4．4．2 權(quán)值初始化 155
4．4．3 早期停止 155
4．4．4 輸入信號(hào)調(diào)整 156
4．5 TensorFlow實(shí)現(xiàn)MLP 156
第5章 卷積神經(jīng)網(wǎng)絡(luò) 174
5．1 卷積神經(jīng)網(wǎng)絡(luò)原理 174
5．1．1 卷積神經(jīng)網(wǎng)絡(luò)的直觀理解 174
5．1．2 卷積神經(jīng)網(wǎng)絡(luò)構(gòu)成 177
5．1．3 卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì) 191
5．1．4 遷移學(xué)習(xí)和網(wǎng)絡(luò)微調(diào) 193
5．2 卷積神經(jīng)網(wǎng)絡(luò)的TensorFlow實(shí)現(xiàn) 195
5．2．1 模型搭建 197
5．2．2 訓(xùn)練方法 203
5．2．3 運(yùn)行方法 208
第6章 遞歸神經(jīng)網(wǎng)絡(luò) 212
6．1 遞歸神經(jīng)網(wǎng)絡(luò)原理 212
6．1．1 遞歸神經(jīng)網(wǎng)絡(luò)表示方法 213
6．1．2 數(shù)學(xué)原理 214
6．1．3 簡單遞歸神經(jīng)網(wǎng)絡(luò)應(yīng)用示例 219
6．2 圖像標(biāo)記 226
6．2．1 建立開發(fā)環(huán)境 226
6．2．2 圖像標(biāo)記數(shù)據(jù)集處理 227
6．2．3 單步前向傳播 229
6．2．4 單步反向傳播 231
6．2．5 完整前向傳播 234
6．2．6 完整反向傳播 236
6．2．7 單詞嵌入前向傳播 239
6．2．8 單詞嵌入反向傳播 241
6．2．9 輸出層前向/反向傳播 243
6．2．10 輸出層代價(jià)函數(shù)計(jì)算 245
6．2．11 圖像標(biāo)注網(wǎng)絡(luò)整體架構(gòu) 248
6．2．12 代價(jià)函數(shù)計(jì)算 249
6．2．13 生成圖像標(biāo)記 255
6．2．14 網(wǎng)絡(luò)訓(xùn)練過程 258
6．2．15 網(wǎng)絡(luò)持久化 265
第7章 長短時(shí)記憶網(wǎng)絡(luò) 269
7．1 長短時(shí)記憶網(wǎng)絡(luò)原理 269
7．1．1 網(wǎng)絡(luò)架構(gòu) 269
7．1．2 數(shù)學(xué)公式 272
7．2 MNIST手寫數(shù)字識(shí)別 274
第三部分 深度學(xué)習(xí)算法進(jìn)階
第8章 自動(dòng)編碼機(jī) 286
8．1 自動(dòng)編碼機(jī)概述 286
8．1．1 自動(dòng)編碼機(jī)原理 287
8．1．2 去噪自動(dòng)編碼機(jī) 287
8．1．3 稀疏自動(dòng)編碼機(jī) 288
8．2 去噪自動(dòng)編碼機(jī)TensorFlow實(shí)現(xiàn) 291
8．3 去噪自動(dòng)編碼機(jī)的Theano實(shí)現(xiàn) 298
第9章 堆疊自動(dòng)編碼機(jī) 307
9．1 堆疊去噪自動(dòng)編碼機(jī) 308
9．2 TensorFlow實(shí)現(xiàn) 322
9．3 Theano實(shí)現(xiàn) 341
第10章 受限玻爾茲曼機(jī) 344
10．1 受限玻爾茲曼機(jī)原理 344
10．1．1 網(wǎng)絡(luò)架構(gòu) 344
10．1．2 能量模型 346
10．1．3 CD-K算法 351
10．2 受限玻爾茲曼機(jī)TensorFlow實(shí)現(xiàn) 353
10．3 受限玻爾茲曼機(jī)Theano實(shí)現(xiàn) 362
第11章 深度信念網(wǎng)絡(luò) 381
11．1 深度信念網(wǎng)絡(luò)原理 381
11．2 深度信念網(wǎng)絡(luò)TensorFlow實(shí)現(xiàn) 382
11．3 深度信念網(wǎng)絡(luò)Theano實(shí)現(xiàn) 403
第四部分 機(jī)器學(xué)習(xí)基礎(chǔ)
第12章 生成式學(xué)習(xí) 420
12．1 高斯判別分析 422
12．1．1 多變量高斯分布 422
12．1．2 高斯判決分析公式 423
12．2 樸素貝葉斯 436
12．2．1 樸素貝葉斯分類器 436
12．2．2 拉普拉斯平滑 439
12．2．3 多項(xiàng)式事件模型 441
第13章 支撐向量機(jī) 444
13．1 支撐向量機(jī)概述 444
13．1．1 函數(shù)間隔和幾何間隔 445
13．1．2 最優(yōu)距離分類器 448
13．2 拉格朗日對(duì)偶 448
13．3 最優(yōu)分類器算法 450
13．4 核方法 453
13．5 非線性可分問題 455
13．6 SMO算法 457
13．6．1 坐標(biāo)上升算法 458
13．6．2 SMO算法詳解 458
第五部分 深度學(xué)習(xí)平臺(tái)API
第14章 Python Web編程 462
14．1 Python Web開發(fā)環(huán)境搭建 462
14．1．1 CherryPy框架 463
14．1．2 CherryPy安裝 463
14．1．3 測試CherryPy安裝是否成功 464
14．2 最簡Web服務(wù)器 465
14．2．1 程序啟動(dòng) 465
14．2．2 顯示HTML文件 466
14．2．3 靜態(tài)內(nèi)容處理 468
14．3 用戶認(rèn)證系統(tǒng) 471
14．4 AJAX請(qǐng)求詳解 473
14．4．1 添加數(shù)據(jù) 474
14．4．2 修改數(shù)據(jù) 476
14．4．3 刪除數(shù)據(jù) 478
14．4．4 REST服務(wù)實(shí)現(xiàn) 479
14．5 數(shù)據(jù)持久化技術(shù) 487
14．5．1 環(huán)境搭建 487
14．5．2 數(shù)據(jù)庫添加操作 488
14．5．3 數(shù)據(jù)庫修改操作 489
14．5．4 數(shù)據(jù)庫刪除操作 490
14．5．5 數(shù)據(jù)庫查詢操作 491
14．5．6 數(shù)據(jù)庫事務(wù)操作 492
14．5．7 數(shù)據(jù)庫連接池 494
14．6 任務(wù)隊(duì)列 499
14．7 媒體文件上傳 502
14．8 Redis操作 504
14．8．1 Redis安裝配置 504
14．8．2 Redis使用例程 505
第15章 深度學(xué)習(xí)云平臺(tái) 506
15．1 神經(jīng)網(wǎng)絡(luò)持久化 506
15．1．1 數(shù)據(jù)庫表設(shè)計(jì) 506
15．1．2 整體目錄結(jié)構(gòu) 511
15．1．3 訓(xùn)練過程及模型文件保存 512
15．2 神經(jīng)網(wǎng)絡(luò)運(yùn)行模式 528
15．3 AJAX請(qǐng)求調(diào)用神經(jīng)網(wǎng)絡(luò) 531
15．3．1 顯示靜態(tài)網(wǎng)頁 531
15．3．2 上傳圖片文件 540
15．3．3 AJAX接口 543
15．4 請(qǐng)求合法性驗(yàn)證 545
15．4．1 用戶注冊(cè)和登錄 546
15．4．2 客戶端生成請(qǐng)求 553
15．4．3 服務(wù)器端驗(yàn)證請(qǐng)求 555
15．5 異步結(jié)果處理 557
15．5．1 網(wǎng)頁異步提交 557
15．5．2 應(yīng)用隊(duì)列管理模塊 559
15．5．3 任務(wù)隊(duì)列 560
15．5．4 結(jié)果隊(duì)列 561
15．5．5 異步請(qǐng)求處理流程 562
15．6 神經(jīng)網(wǎng)絡(luò)持續(xù)改進(jìn) 563
15．6．1 應(yīng)用遺傳算法 563
15．6．2 重新訓(xùn)練 564
15．6．3 生成式對(duì)抗網(wǎng)絡(luò) 565
后 記 567
參考文獻(xiàn) 568