Python與神經(jīng)網(wǎng)絡(luò)實(shí)戰(zhàn)

目 錄

第1章 緒論 1
1．1 機(jī)器學(xué)習(xí)簡介 2
1．1．1 什么是機(jī)器學(xué)習(xí) 2
1．1．2 機(jī)器學(xué)習(xí)常用術(shù)語 3
1．2 Python簡介 9
1．2．1 Python的優(yōu)勢 10
1．2．2 scikit-learn和TensorFlow 11
1．3 前期準(zhǔn)備 13
1．3．1 訓(xùn)練、交叉驗(yàn)證與測試 13
1．3．2 簡易數(shù)據(jù)預(yù)處理 14
1．4 本章小結(jié) 15

第2章 經(jīng)典傳統(tǒng)機(jī)器學(xué)習(xí)算法簡介 17
2．1 樸素貝葉斯 17
2．1．1 條件獨(dú)立性假設(shè) 18
2．1．2 貝葉斯思維 19
2．1．3 模型算法 20
2．1．4 實(shí)例演示 23
2．1．5* 參數(shù)估計(jì) 25
2．1．6* 樸素貝葉斯的改進(jìn) 28
2．2 決策樹 33
2．2．1 決策的方法 33
2．2．2 決策樹的生成 34
2．2．3 決策樹的剪枝 39
2．2．4 實(shí)例演示 40
2．2．5* 決策樹的三大算法 40
2．2．6* 數(shù)據(jù)集的劃分 45
2．2．7* 決策樹與回歸 48
2．3 支持向量機(jī) ． 50
2．3．1 分離超平面與幾何間隔 50
2．3．2* 感知機(jī)與SVM的原始形式 58
2．3．3 梯度下降法 62
2．3．4* 核技巧 70
2．3．5 實(shí)例演示 75
2．4 Logistic回歸 75
2．5 本章小結(jié) 76

第3章 神經(jīng)網(wǎng)絡(luò)入門 77
3．1 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu) 78
3．2 前向傳導(dǎo)算法 80
3．2．1 算法概述 81
3．2．2 算法內(nèi)涵 83
3．2．3 激活函數(shù) 85
3．2．4 損失函數(shù) 90
3．3* 反向傳播算法 92
3．3．1 算法概述 92
3．3．2 損失函數(shù)的選擇 94
3．4 參數(shù)的更新 98
3．4．1 Vanilla Update 99
3．4．2 Momentum Update 99
3．4．3 Nesterov Momentum Update 100
3．4．4 AdaGrad 100
3．4．5 RMSProp 101
3．4．6 Adam 101
3．5 TensorFlow模型的基本框架 101
3．5．1 TensorFlow的組成單元與基本思想 102
3．5．2 TensorFlow模型的基本元素 104
3．5．3 TensorFlow元素的整合方法 114
3．5．4 TensorFlow模型的save ＆ load 125
3．6 樸素神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)與評估 130
3．7 本章小結(jié) 138

第4章 從傳統(tǒng)算法走向神經(jīng)網(wǎng)絡(luò) 139
4．1 樸素貝葉斯的線性形式 139
4．2 決策樹生成算法的本質(zhì) 145
4．2．1 第1隱藏層→決策超平面 147
4．2．2 第2隱藏層→決策路徑 148
4．2．3 輸出層→葉節(jié)點(diǎn) 150
4．2．4 具體實(shí)現(xiàn) 151
4．3 模型轉(zhuǎn)換的實(shí)際意義 158
4．3．1 利用Softmax來賦予概率意義 159
4．3．2 利用Tanh+Softmax來“軟化”模型 160
4．3．3 通過微調(diào)來緩解“條件獨(dú)立性假設(shè)” 165
4．3．4 通過微調(diào)來豐富超平面的選擇 165
4．3．5 模型逆轉(zhuǎn)換的可能性 171
4．4 模型轉(zhuǎn)換的局限性 172
4．5 本章小結(jié) 172

第5章 神經(jīng)網(wǎng)絡(luò)進(jìn)階 174
5．1 層結(jié)構(gòu)內(nèi)部的額外工作 175
5．1．1 Dropout 175
5．1．2 Batch Normalization 176
5．1．3 具體實(shí)現(xiàn) 180
5．2 “淺”與“深”的結(jié)合 181
5．2．1 離散型特征的處理方式 181
5．2．2 Wide and Deep模型概述 183
5．2．3 Wide and Deep的具體實(shí)現(xiàn) 185
5．2．4 WnD的重要思想與優(yōu)缺點(diǎn) 194
5．3 神經(jīng)網(wǎng)絡(luò)中的“決策樹” 195
5．3．1 DNDF結(jié)構(gòu)概述 195
5．3．2* DNDF的具體實(shí)現(xiàn) 199
5．3．3 DNDF的應(yīng)用場景 210
5．3．4* DNDF的結(jié)構(gòu)內(nèi)涵 213
5．4 神經(jīng)網(wǎng)絡(luò)中的剪枝 216
5．4．1 Surgery算法概述 216
5．4．2 Surgery算法改進(jìn) 218
5．4．3 軟剪枝的具體實(shí)現(xiàn) 221
5．4．4* 軟剪枝的算法內(nèi)涵 223
5．5 AdvancedNN的結(jié)構(gòu)設(shè)計(jì) 237
5．5．1 AdvancedNN的實(shí)現(xiàn)補(bǔ)足 237
5．5．2 WnD與DNDF 239
5．5．3 DNDF與剪枝 241
5．5．4 剪枝與Dropout 242
5．5．5 沒有免費(fèi)的午餐 242
5．6 AdvancedNN的實(shí)際性能 243
5．7 本章小結(jié) 251

第6章 半自動化機(jī)器學(xué)習(xí)框架 253
6．1 數(shù)據(jù)的準(zhǔn)備 254
6．1．1 數(shù)據(jù)預(yù)處理的流程 254
6．1．2 數(shù)據(jù)準(zhǔn)備的流程 256
6．2 數(shù)據(jù)的轉(zhuǎn)換 264
6．2．1 數(shù)據(jù)的數(shù)值化 264
6．2．2 冗余特征的去除 266
6．2．3 缺失值處理 269
6．2．4 連續(xù)型特征的數(shù)據(jù)預(yù)處理 272
6．2．5 特殊類型數(shù)據(jù)的處理 274
6．3 AutoBase的實(shí)現(xiàn)補(bǔ)足 277
6．4 AutoMeta的實(shí)現(xiàn) 281
6．5 訓(xùn)練過程的監(jiān)控 288
6．5．1 監(jiān)控訓(xùn)練過程的原理 288
6．5．2 監(jiān)控訓(xùn)練的實(shí)現(xiàn)思路 292
6．5．3 監(jiān)控訓(xùn)練的具體代碼 293
6．6 本章小結(jié) 299

第7章 工程化機(jī)器學(xué)習(xí)框架 301
7．1 輸出信息的管理 301
7．2 多次實(shí)驗(yàn)的管理 309
7．2．1 多次實(shí)驗(yàn)的框架 312
7．2．2 多次實(shí)驗(yàn)的初始化 314
7．2．3 多次實(shí)驗(yàn)中的數(shù)據(jù)劃分 316
7．2．4 多次實(shí)驗(yàn)中的模型評估 318
7．2．5 多次實(shí)驗(yàn)的收尾工作 321
7．3 參數(shù)搜索的管理 321
7．3．1 參數(shù)搜索的框架 322
7．3．2* 隨機(jī)搜索與網(wǎng)格搜索 329
7．3．3 參數(shù)的選取 334
7．3．4 參數(shù)搜索的收尾工作 335
7．3．5 具體的搜索方案 335
7．4 DistAdvanced的性能 337
7．5 本章小結(jié) 344

附錄A SVM的TensorFlow實(shí)現(xiàn) 345
附錄B numba的基本應(yīng)用 352
附錄C 裝飾器的基本應(yīng)用 359
附錄D 可視化 363
附錄E 模型的評估指標(biāo) 370
附錄F 實(shí)現(xiàn)補(bǔ)足 377