Python深度學(xué)習(xí)

第 1 章　如何閱讀本書……………………………………………………………………… 1

1.1　獲取Python ………………………………………………………………………　2

1.1.1　學(xué)習(xí)Python ……………………………………………………………　3

1.1.2　軟件包 ……………………………………………………………………　3

1.2　不需要等待 ………………………………………………………………………　3

1.3　小結(jié) ………………………………………………………………………………　4

附注　………………………………………………………………………………………　5

第　2 章 深度學(xué)習(xí)入門………………………………………………………………………　6

2.1　為什么要學(xué)習(xí)深度學(xué)習(xí) …………………………………………………………　7

2.1.1　最后一子 …………………………………………………………………　8

2.1.2　一件怪事 …………………………………………………………………　8

2.1.3　兩類人 ……………………………………………………………………　9

2.2　什么是深度學(xué)習(xí) …………………………………………………………………10

2.2.1　成功的藍(lán)圖 ………………………………………………………………10

2.2.2　有監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí) ………………………………………………　11

2.2.3　深度學(xué)習(xí)的流程 …………………………………………………………　11

2.3　深度學(xué)習(xí)能解決什么問(wèn)題 ………………………………………………………　12

2.4　哪些領(lǐng)域使用深度學(xué)習(xí) …………………………………………………………14

2.4.1　深度學(xué)習(xí)能揭開永葆青春的秘密嗎 ……………………………………　15

2.4.2　衰老的挑戰(zhàn) ………………………………………………………………　15

2.4.3　眾多的理論 ………………………………………………………………　16

2.4.4　數(shù)據(jù)科學(xué)家的答案 ………………………………………………………　16

2.5　想使用深度學(xué)習(xí)——卻不知如何開始 …………………………………………　17

2.6　小結(jié) ………………………………………………………………………………18

附注　………………………………………………………………………………………18

第3　章 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)………………………………………………………………………27

3.1　歷史備忘錄 ………………………………………………………………………28

3.2　神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu) ……………………………………………………………29

3.3　神經(jīng)元的作用 ……………………………………………………………………30

人工神經(jīng)元　………………………………………………………………………31

3.4　理解激活函數(shù) ……………………………………………………………………31

3.4.1　數(shù)學(xué)計(jì)算 …………………………………………………………………32

3.4.2　sigmoid 函數(shù) ……………………………………………………………34

3.4.3　運(yùn)算成本 …………………………………………………………………34

3.5　神經(jīng)網(wǎng)絡(luò)如何進(jìn)行學(xué)習(xí) …………………………………………………………35

基本算法　…………………………………………………………………………36

3.6　解釋梯度下降算法 ………………………………………………………………37

3.6.1　誤差曲面 …………………………………………………………………38

3.6.2　隨機(jī)梯度下降 …………………………………………………………　39

3.7　小結(jié) ……………………………………………………………………………　39

附注　……………………………………………………………………………………　40

第4　章 深度神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介…………………………………………………………………42

4.1　深度神經(jīng)網(wǎng)絡(luò)簡(jiǎn)析 ………………………………………………………………43

4.2　怎樣在一分鐘內(nèi)解釋深度神經(jīng)網(wǎng)絡(luò) …………………………………………　44

4.2.1　如何看待DNN ………………………………………………………　44

4.2.2　統(tǒng)計(jì)學(xué)家的視角 …………………………………………………………45

4.2.3　一個(gè)關(guān)鍵的觀點(diǎn) …………………………………………………………45

4.3　深度神經(jīng)網(wǎng)絡(luò)的3 種使用方式 …………………………………………………45

4.3.1　增強(qiáng)霧天的可視性 ………………………………………………………46

4.3.2　打擊黑客犯罪 ……………………………………………………………50

4.3.3　不可思議的縮略圖 ………………………………………………………　51

4.4　如何快速地近似任何函數(shù) ………………………………………………………54

4.4.1　一個(gè)用Python 構(gòu)建深度神經(jīng)網(wǎng)絡(luò)的極簡(jiǎn)方法 ………………………55

4.4.2　生成示例 …………………………………………………………………56

4.4.3　檢查樣本 …………………………………………………………………57

4.4.4　格式化數(shù)據(jù) ………………………………………………………………58

4.4.5　擬合模型 …………………………………………………………………60

4.4.6　性能表現(xiàn)評(píng)估 ……………………………………………………………　61

4.5　有監(jiān)督學(xué)習(xí)概述 …………………………………………………………………62

4.5.1　有監(jiān)督學(xué)習(xí)的目標(biāo) ………………………………………………………63

4.5.2　無(wú)監(jiān)督學(xué)習(xí) ………………………………………………………………63

4.5.3　半監(jiān)督學(xué)習(xí) ………………………………………………………………64

4.6　小結(jié) ………………………………………………………………………………65

附注　………………………………………………………………………………………65

第5　章 如何構(gòu)建可定制的深度預(yù)測(cè)模型…………………………………………………70

5.1　一個(gè)深度神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)的實(shí)際應(yīng)用 ……………………………………………　71

5.1.1　樣本數(shù)據(jù)和神經(jīng)網(wǎng)絡(luò) ……………………………………………………　71

5.1.2　可靠的性能表現(xiàn) …………………………………………………………72

5.2　明確預(yù)測(cè)目標(biāo) ……………………………………………………………………72

5.3　獲取數(shù)據(jù)的拷貝 …………………………………………………………………74

5.4　標(biāo)準(zhǔn)化的重要性 …………………………………………………………………75

5.5　使用訓(xùn)練樣本和測(cè)試樣本 ………………………………………………………76

5.6　創(chuàng)建深度神經(jīng)網(wǎng)絡(luò)回歸模型的極簡(jiǎn)方式 ………………………………………78

5.7　學(xué)習(xí)速率詳解 ……………………………………………………………………79

5.7.1　選擇最佳值 ……………………………………………………………　80

5.7.2　如果將模型擬合到數(shù)據(jù) …………………………………………………81

5.8　評(píng)估模型在訓(xùn)練集性能表現(xiàn)的幾種方式 ………………………………………81

5.8.1　均方差 ……………………………………………………………………82

5.8.2　獲取預(yù)測(cè)和度量性能 ……………………………………………………83

5.9　小結(jié) ………………………………………………………………………………83

附注　……………………………………………………………………………………　84

第6　章 提高性能的一些技巧 …………………………………………　85

6.1　sigmoid 激活函數(shù)的局限 ………………………………………………………86

6.2　選擇最佳層數(shù)的原則 …………………………………………………………　89

6.3　如何快速改進(jìn)模型 ………………………………………………………………92

6.4　避免過(guò)度擬合 …………………………………………………………………　93

6.5　應(yīng)該包含多少個(gè)神經(jīng)元 …………………………………………………………95

6.6　評(píng)估測(cè)試數(shù)據(jù)集上的性能 ………………………………………………………96

6.7　凍結(jié)網(wǎng)絡(luò)權(quán)重 ……………………………………………………………………97

6.8　保存網(wǎng)絡(luò)以供將來(lái)使用 ………………………………………………………　98

6.9　小結(jié) ……………………………………………………………………………　99

附注　……………………………………………………………………………………　99

第7　章 二元分類神經(jīng)網(wǎng)絡(luò)的奧秘 ……………………………………101

7.1　感人至深——?jiǎng)?chuàng)造奇跡 ………………………………………………………　102

7.1.1　一項(xiàng)二元分類任務(wù) ……………………………………………………　103

7.1.2　有用的結(jié)果 ……………………………………………………………　103

7.2　了解分類目標(biāo) …………………………………………………………………　104

7.3　使用Python 從網(wǎng)絡(luò)下載數(shù)據(jù) ………………………………………………　105

7.4　處理缺失的觀測(cè)值 ……………………………………………………………　107

7.5　保存數(shù)據(jù) ………………………………………………………………………　111

7.6　沖量簡(jiǎn)單入門 …………………………………………………………………　112

7.7　留出法的秘密 …………………………………………………………………　113

7.8　如何用Python 快速構(gòu)建一個(gè)深度神經(jīng)網(wǎng)絡(luò)二元分類器 …………………　115

7.8.1　生成訓(xùn)練集和測(cè)試集 …………………………………………………　117

7.8.2　指定模型 ………………………………………………………………　117

7.8.3　擬合模型 ………………………………………………………………　118

7.8.4　混淆矩陣 ………………………………………………………………　119

7.9　小結(jié) ……………………………………………………………………………　120

附注　……………………………………………………………………………………　120

第8　章 構(gòu)建優(yōu)秀模型之道 ……………………………………………123

8.1　嘗試最簡(jiǎn)單的想法提高成功率 ………………………………………………　124

8.2　輟學(xué)的威力 ……………………………………………………………………　124

8.3　相似性 …………………………………………………………………………　126

8.4　共適應(yīng) …………………………………………………………………………　126

8.5　一個(gè)教訓(xùn) ………………………………………………………………………　127

8.6　雙曲正切激活函數(shù)的威力以及如何有效地使用 ……………………………　127

8.7　如何從小批量方法中獲益 ……………………………………………………　128

8.8　重建模型 ………………………………………………………………………　129

8.9　關(guān)于不平衡樣本你應(yīng)該知道的事 ……………………………………………　131

8.9.1　核心問(wèn)題 ………………………………………………………………　131

8.9.2　查看測(cè)試集上的表現(xiàn) …………………………………………………　133

8.10　小結(jié) ……………………………………………………………………………　134

附注　……………………………………………………………………………………　134

第9　章 深度神經(jīng)網(wǎng)絡(luò)在多元分類問(wèn)題的簡(jiǎn)單應(yīng)用 …………………136

9.1　分類問(wèn)題描述 …………………………………………………………………　138

9.1.1　查看樣本 ………………………………………………………………　139

9.1.2　檢查目標(biāo)對(duì)象 …………………………………………………………　140

9.2　關(guān)于softmax 激活函數(shù)的說(shuō)明 ………………………………………………　140

9.3　使用rmsprop 算法構(gòu)建多項(xiàng)式模型 ………………………………………　141

9.3.1　關(guān)于rmsprop 算法的說(shuō)明 …………………………………………　143

9.3.2　模型性能表現(xiàn) …………………………………………………………　144

9.4　Adagrad 學(xué)習(xí)算法概述 ………………………………………………………　144

9.5　如何嘗試其他學(xué)習(xí)算法 ………………………………………………………　146

9.5.1　Nesterov 的加速梯度下降算法 ……………………………………　146

9.5.2　嘗試沖量法 ……………………………………………………………　147

9.5.3　常規(guī)隨機(jī)梯度下降法 …………………………………………………　148

9.5.4　在模型中使用Adadelta 算法 ………………………………………　149

9.5.5　測(cè)試集性能表現(xiàn) ………………………………………………………　150

9.6　小結(jié) ……………………………………………………………………………　152

9.7　結(jié)束語(yǔ) …………………………………………………………………………　152

附注　……………………………………………………………………………………　152