Python機(jī)器學(xué)習(xí)算法

0緒論1
0.1機(jī)器學(xué)習(xí)基礎(chǔ)1
0.1.1機(jī)器學(xué)習(xí)的概念1
0.1.2機(jī)器學(xué)習(xí)算法的分類2
0.2監(jiān)督學(xué)習(xí)3
0.2.1監(jiān)督學(xué)習(xí)3
0.2.2監(jiān)督學(xué)習(xí)的流程3
0.2.3監(jiān)督學(xué)習(xí)算法4
0.3無(wú)監(jiān)督學(xué)習(xí)4
0.3.1無(wú)監(jiān)督學(xué)習(xí)4
0.3.2無(wú)監(jiān)督學(xué)習(xí)的流程4
0.3.3無(wú)監(jiān)督學(xué)習(xí)算法5
0.4推薦系統(tǒng)和深度學(xué)習(xí)6
0.4.1推薦系統(tǒng)6
0.4.2深度學(xué)習(xí)6
0.5Python和機(jī)器學(xué)習(xí)算法實(shí)踐6
參考文獻(xiàn)7

第一部分分類算法
1Logistic Regression10
1.1Logistic Regression模型10
1.1.1線性可分VS線性不可分10
1.1.2Logistic Regression模型11
1.1.3損失函數(shù)13
1.2梯度下降法14
1.2.1梯度下降法的流程14
1.2.2凸優(yōu)化與非凸優(yōu)化15
1.2.3利用梯度下降法訓(xùn)練Logistic Regression模型17
1.3梯度下降法的若干問(wèn)題18
1.3.1選擇下降的方向18
1.3.2步長(zhǎng)的選擇19
1.4Logistic Regression算法實(shí)踐20
1.4.1利用訓(xùn)練樣本訓(xùn)練Logistic Regression模型20
1.4.2最終的訓(xùn)練效果22
1.4.3對(duì)新數(shù)據(jù)進(jìn)行預(yù)測(cè)23
參考文獻(xiàn)26
2Softmax Regression27
2.1多分類問(wèn)題27
2.2Softmax Regression算法模型28
2.2.1Softmax Regression模型28
2.2.2Softmax Regression算法的代價(jià)函數(shù)28
2.3Softmax Regression算法的求解29
2.4Softmax Regression與Logistic Regression的關(guān)系31
2.4.1Softmax Regression中的參數(shù)特點(diǎn)31
2.4.2由Softmax Regression到Logistic Regression31
2.5Softmax Regression算法實(shí)踐32
2.5.1對(duì)Softmax Regression算法的模型進(jìn)行訓(xùn)練33
2.5.2最終的模型34
2.5.3對(duì)新的數(shù)據(jù)的預(yù)測(cè)35
參考文獻(xiàn)39
3Factorization Machine40
3.1Logistic Regression算法的不足40
3.2因子分解機(jī)FM的模型42
3.2.1因子分解機(jī)FM模型42
3.2.2因子分解機(jī)FM可以處理的問(wèn)題43
3.2.3二分類因子分解機(jī)FM算法的損失函數(shù)43
3.3FM算法中交叉項(xiàng)的處理43
3.3.1交叉項(xiàng)系數(shù)43
3.3.2模型的求解44
3.4FM算法的求解45
3.4.1隨機(jī)梯度下降（Stochastic Gradient Descent）45
3.4.2基于隨機(jī)梯度的方式求解45
3.4.3FM算法流程46
3.5因子分解機(jī)FM算法實(shí)踐49
3.5.1訓(xùn)練FM模型50
3.5.2最終的訓(xùn)練效果53
3.5.3對(duì)新的數(shù)據(jù)進(jìn)行預(yù)測(cè)55
參考文獻(xiàn)57
4支持向量機(jī)58
4.1二分類問(wèn)題58
4.1.1二分類的分隔超平面58
4.1.2感知機(jī)算法59
4.1.3感知機(jī)算法存在的問(wèn)題61
4.2函數(shù)間隔和幾何間隔61
4.2.1函數(shù)間隔62
4.2.2幾何間隔62
4.3支持向量機(jī)63
4.3.1間隔最大化63
4.3.2支持向量和間隔邊界64
4.3.3線性支持向量機(jī)65
4.4支持向量機(jī)的訓(xùn)練66
4.4.1學(xué)習(xí)的對(duì)偶算法66
4.4.2由線性支持向量機(jī)到非線性支持向量機(jī)68
4.4.3序列最小最優(yōu)化算法SMO69
4.5支持向量機(jī)SVM算法實(shí)踐74
4.5.1訓(xùn)練SVM模型74
4.5.2利用訓(xùn)練樣本訓(xùn)練SVM模型81
4.5.3利用訓(xùn)練好的SVM模型對(duì)新數(shù)據(jù)進(jìn)行預(yù)測(cè)85
參考文獻(xiàn)88
5隨機(jī)森林89
5.1決策樹(shù)分類器89
5.1.1決策樹(shù)的基本概念89
5.1.2選擇最佳劃分的標(biāo)準(zhǔn)91
5.1.3停止劃分的標(biāo)準(zhǔn)94
5.2CART分類樹(shù)算法95
5.2.1CART分類樹(shù)算法的基本原理95
5.2.2CART分類樹(shù)的構(gòu)建95
5.2.3利用構(gòu)建好的分類樹(shù)進(jìn)行預(yù)測(cè)98
5.3集成學(xué)習(xí)（Ensemble Learning）99
5.3.1集成學(xué)習(xí)的思想99
5.3.2集成學(xué)習(xí)中的典型方法99
5.4隨機(jī)森林（Random Forests）101
5.4.1隨機(jī)森林算法模型101
5.4.2隨機(jī)森林算法流程102
5.5隨機(jī)森林RF算法實(shí)踐104
5.5.1訓(xùn)練隨機(jī)森林模型105
5.5.2最終的訓(xùn)練結(jié)果109
5.5.3對(duì)新數(shù)據(jù)的預(yù)測(cè)110
參考文獻(xiàn)113
6BP神經(jīng)網(wǎng)絡(luò)114
6.1神經(jīng)元概述114
6.1.1神經(jīng)元的基本結(jié)構(gòu)114
6.1.2激活函數(shù)115
6.2神經(jīng)網(wǎng)絡(luò)模型116
6.2.1神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)116
6.2.2神經(jīng)網(wǎng)絡(luò)中的參數(shù)說(shuō)明117
6.2.3神經(jīng)網(wǎng)絡(luò)的計(jì)算117
6.3神經(jīng)網(wǎng)絡(luò)中參數(shù)的求解118
6.3.1神經(jīng)網(wǎng)絡(luò)損失函數(shù)118
6.3.2損失函數(shù)的求解119
6.3.3BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程120
6.4BP神經(jīng)網(wǎng)絡(luò)中參數(shù)的設(shè)置126
6.4.1非線性變換126
6.4.2權(quán)重向量的初始化126
6.4.3學(xué)習(xí)率127
6.4.4隱含層節(jié)點(diǎn)的個(gè)數(shù)127
6.5BP神經(jīng)網(wǎng)絡(luò)算法實(shí)踐127
6.5.1訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)模型128
6.5.2最終的訓(xùn)練效果132
6.5.3對(duì)新數(shù)據(jù)的預(yù)測(cè)133
參考文獻(xiàn)136

第二部分回歸算法
7線性回歸138
7.1基本線性回歸138
7.1.1線性回歸的模型138
7.1.2線性回歸模型的損失函數(shù)139
7.2線性回歸的最小二乘解法140
7.2.1線性回歸的最小二乘解法140
7.2.2廣義逆的概念141
7.3牛頓法141
7.3.1基本牛頓法的原理141
7.3.2基本牛頓法的流程142
7.3.3全局牛頓法142
7.3.4Armijo搜索144
7.3.5利用全局牛頓法求解線性回歸模型145
7.4利用線性回歸進(jìn)行預(yù)測(cè)146
7.4.1訓(xùn)練線性回歸模型147
7.4.2最終的訓(xùn)練結(jié)果149
7.4.3對(duì)新數(shù)據(jù)的預(yù)測(cè)150
7.5局部加權(quán)線性回歸152
7.5.1 局部加權(quán)線性回歸模型152
7.5.2局部加權(quán)線性回歸的最終結(jié)果153
參考文獻(xiàn)154
8嶺回歸和Lasso回歸155
8.1線性回歸存在的問(wèn)題155
8.2嶺回歸模型156
8.2.1嶺回歸模型156
8.2.2嶺回歸模型的求解156
8.3Lasso回歸模型157
8.4擬牛頓法158
8.4.1擬牛頓法158
8.4.2BFGS校正公式的推導(dǎo)158
8.4.3BFGS校正的算法流程159
8.5L-BFGS求解嶺回歸模型162
8.5.1BGFS算法存在的問(wèn)題162
8.5.2L-BFGS算法思路162
8.6嶺回歸對(duì)數(shù)據(jù)的預(yù)測(cè)165
8.6.1訓(xùn)練嶺回歸模型166
8.6.2最終的訓(xùn)練結(jié)果168
8.6.3利用嶺回歸模型預(yù)測(cè)新的數(shù)據(jù)168
參考文獻(xiàn)171
9CART樹(shù)回歸172
9.1復(fù)雜的回歸問(wèn)題172
9.1.1線性回歸模型172
9.1.2局部加權(quán)線性回歸173
9.1.3CART算法174
9.2CART回歸樹(shù)生成175
9.2.1CART回歸樹(shù)的劃分175
9.2.2CART回歸樹(shù)的構(gòu)建177
9.3CART回歸樹(shù)剪枝179
9.3.1前剪枝179
9.3.2后剪枝180
9.4CART回歸樹(shù)對(duì)數(shù)據(jù)預(yù)測(cè)180
9.4.1利用訓(xùn)練數(shù)據(jù)訓(xùn)練CART回歸樹(shù)模型180
9.4.2最終的訓(xùn)練結(jié)果182
9.4.3利用訓(xùn)練好的CART回歸樹(shù)模型對(duì)新的數(shù)據(jù)預(yù)測(cè)185
參考文獻(xiàn)187

第三部分聚類算法
10K-Means190
10.1相似性的度量190
10.1.1閔可夫斯基距離191
10.1.2曼哈頓距離191
10.1.3歐氏距離191
10.2K-Means算法原理192
10.2.1K-Means算法的基本原理192
10.2.2K-Means算法步驟193
10.2.3K-Means算法與矩陣分解193
10.3K-Means算法實(shí)踐195
10.3.1導(dǎo)入數(shù)據(jù)196
10.3.2初始化聚類中心197
10.3.3聚類過(guò)程198
10.3.4最終的聚類結(jié)果199
10.4K-Means++算法200
10.4.1K-Means算法存在的問(wèn)題200
10.4.2K-Means++算法的基本思路202
10.4.3K-Means++算法的過(guò)程和最終效果204
參考文獻(xiàn)205
11Mean Shift206
11.1Mean Shift向量206
11.2核函數(shù)207
11.3Mean Shift算法原理209
11.3.1引入核函數(shù)的Mean Shift向量209
11.3.2Mean Shift算法的基本原理210
11.4Mean Shift算法的解釋212
11.4.1概率密度梯度212
11.4.2Mean Shift向量的修正213
11.4.3Mean Shift算法流程213
11.5Mean Shift算法實(shí)踐217
11.5.1Mean Shift的主過(guò)程218
11.5.2Mean Shift的最終聚類結(jié)果219
參考文獻(xiàn)221
12DBSCAN222
12.1基于密度的聚類222
12.1.1基于距離的聚類算法存在的問(wèn)題222
12.1.2基于密度的聚類算法225
12.2DBSCAN算法原理225
12.2.1DBSCAN算法的基本概念225
12.2.2DBSCAN算法原理227
12.2.3DBSCAN算法流程228
12.3DBSCAN算法實(shí)踐231
12.3.1DBSCAN算法的主要過(guò)程232
12.3.2Mean Shift的最終聚類結(jié)果234
參考文獻(xiàn)236
13Label Propagation237
13.1社區(qū)劃分237
13.1.1社區(qū)以及社區(qū)劃分237
13.1.2社區(qū)劃分的算法238
13.1.3社區(qū)劃分的評(píng)價(jià)標(biāo)準(zhǔn)239
13.2Label Propagation算法原理239
13.2.1Label Propagation算法的基本原理239
13.2.2標(biāo)簽傳播240
13.2.3迭代的終止條件242
13.3Label Propagation算法過(guò)程244
13.4Label Propagation算法實(shí)踐244
13.4.1導(dǎo)入數(shù)據(jù)245
13.4.2社區(qū)的劃分246
13.4.3最終的結(jié)果247
參考文獻(xiàn)248

第四部分推薦算法
14協(xié)同過(guò)濾算法250
14.1推薦系統(tǒng)的概述250
14.1.1推薦系統(tǒng)250
14.1.2推薦問(wèn)題的描述251
14.1.3推薦的常用方法251
14.2基于協(xié)同過(guò)濾的推薦252
14.2.1協(xié)同過(guò)濾算法概述252
14.2.2協(xié)同過(guò)濾算法的分類252
14.3相似度的度量方法253
14.3.1歐氏距離254
14.3.2皮爾遜相關(guān)系數(shù)（Pearson Correlation）254
14.3.3余弦相似度254
14.4基于協(xié)同過(guò)濾的推薦算法256
14.4.1基于用戶的協(xié)同過(guò)濾算法256
14.4.2基于項(xiàng)的協(xié)同過(guò)濾算法258
14.5利用協(xié)同過(guò)濾算法進(jìn)行推薦260
14.5.1導(dǎo)入用戶-商品數(shù)據(jù)260
14.5.2利用基于用戶的協(xié)同過(guò)濾算法進(jìn)行推薦261
14.5.3利用基于項(xiàng)的協(xié)同過(guò)濾算法進(jìn)行推薦262
參考文獻(xiàn)264
15基于矩陣分解的推薦算法265
15.1矩陣分解265
15.2基于矩陣分解的推薦算法266
15.2.1損失函數(shù)266
15.2.2損失函數(shù)的求解266
15.2.3加入正則項(xiàng)的損失函數(shù)即求解方法267
15.2.4預(yù)測(cè)269
15.3利用矩陣分解進(jìn)行推薦270
15.3.1利用梯度下降對(duì)用戶商品矩陣分解和預(yù)測(cè)270
15.3.2最終的結(jié)果272
15.4非負(fù)矩陣分解273
15.4.1非負(fù)矩陣分解的形式化定義274
15.4.2損失函數(shù)274
15.4.3優(yōu)化問(wèn)題的求解274
15.5利用非負(fù)矩陣分解進(jìn)行推薦277
15.5.1利用乘法規(guī)則進(jìn)行分解和預(yù)測(cè)277
15.5.2最終的結(jié)果278
參考文獻(xiàn)279
16基于圖的推薦算法280
16.1二部圖與推薦算法280
16.1.1二部圖280
16.1.2由用戶商品矩陣到二部圖281
16.2PageRank算法282
16.2.1PageRank算法的概念282
16.2.2PageRank的兩個(gè)假設(shè)283
16.2.3PageRank的計(jì)算方法283
16.3PersonalRank算法285
16.3.1PersonalRank算法原理285
16.3.2PersonalRank算法的流程286
16.4利用PersonalRank算法進(jìn)行推薦288
16.4.1利用PersonalRank算法進(jìn)行推薦288
16.4.2最終的結(jié)果291
參考文獻(xiàn)291

第五部分深度學(xué)習(xí)
17AutoEncoder294
17.1多層神經(jīng)網(wǎng)絡(luò)294
17.1.1三層神經(jīng)網(wǎng)絡(luò)模型294
17.1.2由三層神經(jīng)網(wǎng)絡(luò)到多層神經(jīng)網(wǎng)絡(luò)295
17.2AutoEncoder模型296
17.2.1AutoEncoder模型結(jié)構(gòu)296
17.2.2AutoEncoder的損失函數(shù)297
17.3降噪自編碼器Denoising AutoEncoder298
17.3.1Denoising AutoEncoder原理298
17.3.2Denoising AutoEncoder實(shí)現(xiàn)299
17.4利用Denoising AutoEncoders構(gòu)建深度網(wǎng)絡(luò)302
17.4.1無(wú)監(jiān)督的逐層訓(xùn)練302
17.4.2有監(jiān)督的微調(diào)303
17.5利用TensorFlow實(shí)現(xiàn)Stacked Denoising AutoEncoders306
17.5.1訓(xùn)練Stacked Denoising AutoEncoders模型306
17.5.2訓(xùn)練的過(guò)程307
參考文獻(xiàn)308
18卷積神經(jīng)網(wǎng)絡(luò)309
18.1傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型存在的問(wèn)題309
18.2卷積神經(jīng)網(wǎng)絡(luò)311
18.2.1卷積神經(jīng)網(wǎng)絡(luò)中的核心概念311
18.2.2卷積神經(jīng)網(wǎng)絡(luò)模型312
18.3卷積神經(jīng)網(wǎng)絡(luò)的求解313
18.3.1卷積層（Convolution Layer）313
18.3.2下采樣層（Sub-Sampling Layer）316
18.3.3全連接層（Fully-Connected Layer）316
18.4利用TensorFlow實(shí)現(xiàn)CNN316
18.4.1CNN的實(shí)現(xiàn)316
18.4.2訓(xùn)練CNN模型320
18.4.3訓(xùn)練的過(guò)程321
參考文獻(xiàn)321

第六部分項(xiàng)目實(shí)踐
19微博精準(zhǔn)推薦324
19.1精準(zhǔn)推薦324
19.1.1精準(zhǔn)推薦的項(xiàng)目背景324
19.1.2精準(zhǔn)推薦的技術(shù)架構(gòu)325
19.1.3離線數(shù)據(jù)挖掘326
19.2基于用戶行為的挖掘327
19.2.1基于互動(dòng)內(nèi)容的興趣挖掘327
19.2.2基于與博主互動(dòng)的興趣挖掘328
19.3基于相似用戶的挖掘329
19.3.1基于“@”人的相似用戶挖掘329
19.3.2基于社區(qū)的相似用戶挖掘329
19.3.3基于協(xié)同過(guò)濾的相似用戶挖掘331
19.4點(diǎn)擊率預(yù)估332
19.4.1點(diǎn)擊率預(yù)估的概念332
19.4.2點(diǎn)擊率預(yù)估的方法332
19.5各種數(shù)據(jù)技術(shù)的效果334
參考文獻(xiàn)335
附錄A336
附錄B341