卷積神經(jīng)網(wǎng)絡(luò)的Python實(shí)現(xiàn)

第 一部分　模型篇
第　1章 機(jī)器學(xué)習(xí)簡(jiǎn)介　2
1．1　引言　2
1．2　基本術(shù)語(yǔ)　3
1．3　重要概念　5
1．4　圖像分類(lèi)　12
1．5　MNIST數(shù)據(jù)集簡(jiǎn)介　15
第　2章 線(xiàn)性分類(lèi)器　17
2．1　線(xiàn)性模型　17
2．1．1　線(xiàn)性分類(lèi)器　18
2．1．2　理解線(xiàn)性分類(lèi)器　19
2．1．3　代碼實(shí)現(xiàn)　21
2．2　softmax損失函數(shù)　22
2．2．1　損失函數(shù)的定義　23
2．2．2　概率解釋　24
2．2．3　代碼實(shí)現(xiàn)　25
2．3　優(yōu)化　26
2．4　梯度下降法　26
2．4．1　梯度的解析意義　27
2．4．2　梯度的幾何意義　29
2．4．3　梯度的物理意義　29
2．4．4　梯度下降法代碼實(shí)現(xiàn)　29
2．5　牛頓法　30
2．6　機(jī)器學(xué)習(xí)模型統(tǒng)一結(jié)構(gòu)　31
2．7　正則化　33
2．7．1　范數(shù)正則化　34
2．7．2　提前終止訓(xùn)練　37
2．7．3　概率的進(jìn)一步解釋　38
第3章　神經(jīng)網(wǎng)絡(luò)　39
3．1　數(shù)學(xué)模型　39
3．2　激活函數(shù)　41
3．3　代碼實(shí)現(xiàn)　44
3．4　學(xué)習(xí)容量和正則化　45
3．5　生物神經(jīng)科學(xué)基礎(chǔ)　48
第4章　卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)　50
4．1　概述　50
4．1．1　局部連接　51
4．1．2　參數(shù)共享　52
4．1．3　3D特征圖　52
4．2　卷積層　53
4．2．1　卷積運(yùn)算及代碼實(shí)現(xiàn)　54
4．2．2　卷積層及代碼初級(jí)實(shí)現(xiàn)　57
4．2．3　卷積層參數(shù)總結(jié)　63
4．2．4　用連接的觀(guān)點(diǎn)看卷積層　64
4．2．5　使用矩陣乘法實(shí)現(xiàn)卷積層運(yùn)算　67
4．2．6　批量數(shù)據(jù)的卷積層矩陣乘法的代碼實(shí)現(xiàn)　69
4．3　池化層　74
4．3．1　概述　74
4．3．2　池化層代碼實(shí)現(xiàn)　76
4．4　全連接層　79
4．4．1　全連接層轉(zhuǎn)化成卷積層　80
4．4．2　全連接層代碼實(shí)現(xiàn)　82
4．5　卷積網(wǎng)絡(luò)的結(jié)構(gòu)　83
4．5．1　層的組合模式　83
4．5．2　表示學(xué)習(xí)　86
4．6　卷積網(wǎng)絡(luò)的神經(jīng)科學(xué)基礎(chǔ)　87
第二部分　優(yōu)化篇
第5章　基于梯度下降法的最優(yōu)化方法　90
5．1　隨機(jī)梯度下降法SGD　91
5．2　基本動(dòng)量法　93
5．3　Nesterov動(dòng)量法　95
5．4　AdaGrad　95
5．5　RMSProp　97
5．6　Adam　98
5．7　AmsGrad　99
5．8　學(xué)習(xí)率退火　99
5．9　參數(shù)初始化　100
5．10　超參數(shù)調(diào)優(yōu)　101
第6章　梯度反向傳播算法　104
6．1　基本函數(shù)的梯度　104
6．2　鏈?zhǔn)椒▌t　105
6．3　深度網(wǎng)絡(luò)的誤差反向傳播算法　107
6．4　矩陣化　109
6．5　softmax損失函數(shù)梯度計(jì)算　111
6．6　全連接層梯度反向傳播　112
6．7　激活層梯度反向傳播　113
6．8　卷積層梯度反向傳播　115
6．9　最大值池化層梯度反向傳播　118
第三部分　實(shí)戰(zhàn)篇
第7章　訓(xùn)練前的準(zhǔn)備　124
7．1　中心化和規(guī)范化　124
7．1．1　利用線(xiàn)性模型推導(dǎo)中心化　125
7．1．2　利用屬性同等重要性推導(dǎo)規(guī)范化　126
7．1．3　中心化和規(guī)范化的幾何意義　128
7．2　PCA和白化　128
7．2．1　從去除線(xiàn)性相關(guān)性推導(dǎo)PCA　129
7．2．2　PCA代碼　130
7．2．3　PCA降維　131
7．2．4　PCA的幾何意義　133
7．2．5　白化　134
7．3　卷積網(wǎng)絡(luò)在進(jìn)行圖像分類(lèi)時(shí)如何預(yù)處理　135
7．4　BN　136
7．4．1　BN前向計(jì)算　136
7．4．2　BN層的位置　137
7．4．3　BN層的理論解釋　138
7．4．4　BN層在實(shí)踐中的注意事項(xiàng)　139
7．4．5　BN層的梯度反向傳播　140
7．4．6　BN層的地位探討　141
7．4．7　將BN層應(yīng)用于卷積網(wǎng)絡(luò)　141
7．5　數(shù)據(jù)擴(kuò)增　142
7．6　梯度檢查　144
7．7　初始損失值檢查　146
7．8　過(guò)擬合微小數(shù)據(jù)子集　146
7．9　監(jiān)測(cè)學(xué)習(xí)過(guò)程　147
7．9．1　損失值　147
7．9．2　訓(xùn)練集和驗(yàn)證集的準(zhǔn)確率　148
7．9．3　參數(shù)更新比例　149
第8章　神經(jīng)網(wǎng)絡(luò)實(shí)例　150
8．1　生成數(shù)據(jù)　150
8．2　數(shù)據(jù)預(yù)處理　152
8．3　網(wǎng)絡(luò)模型　153
8．4　梯度檢查　156
8．5　參數(shù)優(yōu)化　158
8．6　訓(xùn)練網(wǎng)絡(luò)　159
8．7　過(guò)擬合小數(shù)據(jù)集　162
8．8　超參數(shù)隨機(jī)搜索　162
8．9　評(píng)估模型　165
8．10　程序組織結(jié)構(gòu)　165
8．11　增加BN層　167
8．12　程序使用建議　171
第9章　卷積神經(jīng)網(wǎng)絡(luò)實(shí)例　172
9．1　程序結(jié)構(gòu)設(shè)計(jì)　173
9．2　激活函數(shù)　173
9．3　正則化　174
9．4　優(yōu)化方法　175
9．5　卷積網(wǎng)絡(luò)的基本模塊　176
9．6　訓(xùn)練方法　181
9．7　VGG網(wǎng)絡(luò)結(jié)構(gòu)　186
9．8　MNIST數(shù)據(jù)集　197
9．9　梯度檢測(cè)　199
9．10　MNIST數(shù)據(jù)集的訓(xùn)練結(jié)果　202
9．11　程序使用建議　205
第　10章 卷積網(wǎng)絡(luò)結(jié)構(gòu)的發(fā)展　206
10．1　全局平均池化層　206
10．2　去掉池化層　208
10．3　網(wǎng)絡(luò)向更深更寬發(fā)展面臨的困難　209
10．4　ResNet向更深發(fā)展的代表網(wǎng)絡(luò)　210
10．5　GoogLeNet向更寬發(fā)展的代表網(wǎng)絡(luò)　213
10．6　輕量網(wǎng)絡(luò)　215
10．6．1　1×1深度維度卷積代碼實(shí)現(xiàn)　217
10．6．2　3×3逐特征圖的卷積代碼實(shí)現(xiàn)　219
10．6．3　逆殘差模塊的代碼實(shí)現(xiàn)　222
10．7　注意機(jī)制網(wǎng)絡(luò)SENet　223