實用機器學習

第1章　引論　1
1．1　什么是機器學習　1
1．2　機器學習算法的分類　2
1．3　實際應用　3
1．3．1　病人住院時間預測　3
1．3．2　信用分數(shù)估計　4
1．3．3　Netflix上的影片推薦　4
1．3．4　酒店推薦　5
1．3．5　討論　6
1．4　本書概述　7
1．4．1　本書結(jié)構(gòu)　9
1．4．2　閱讀材料及其他資源　10
第2章　R語言　12
2．1　R的簡單介紹　12
2．2　R的初步體驗　13
2．3　基本語法　14
2．3．1　語句　14
2．3．2　函數(shù)　17
2．4　常用數(shù)據(jù)結(jié)構(gòu)　19
2．4．1　向量　19
2．4．2　因子　23
2．4．3　矩陣　24
2．4．4　數(shù)據(jù)框　26
2．4．5　列表　29
2．4．6　下標系統(tǒng)　33
2．5　公式對象和apply函數(shù)　34
2．6　R軟件包　36
2．6．1　軟件包的安裝　37
2．6．2　軟件包的使用　38
2．6．3　軟件包的開發(fā)　38
2．7　網(wǎng)絡資源　38
第3章　數(shù)學基礎　39
3．1　概率　39
3．1．1　基本概念　39
3．1．2　基本公式　40
3．1．3　常用分布　42
3．1．4　隨機向量及其分布　43
3．1．5　隨機變量的數(shù)字特征　46
3．1．6　隨機向量的數(shù)字特征　48
3．2　統(tǒng)計　49
3．2．1　常用數(shù)據(jù)特征　49
3．2．2　參數(shù)估計　52
3．3　矩陣　54
3．3．1　基本概念　54
3．3．2　基本運算　56
3．3．3　特征值與特征向量　57
3．3．4　矩陣分解　60
3．3．5　主成分分析　62
3．3．6　R中矩陣的計算　68
第4章　數(shù)據(jù)探索和預處理　74
4．1　數(shù)據(jù)類型　74
4．2　數(shù)據(jù)探索　75
4．2．1　常用統(tǒng)計量　76
4．2．2　使用R實際探索數(shù)據(jù)　76
4．3　數(shù)據(jù)預處理　82
4．3．1　缺失值的處理　82
4．3．2　數(shù)據(jù)的標準化　83
4．3．3　刪除已有變量　85
4．3．4　數(shù)據(jù)的變換　86
4．3．5　構(gòu)建新的變量：啞變量　86
4．3．6　離群數(shù)據(jù)的處理　88
4．4　數(shù)據(jù)可視化　89
4．4．1　直方圖　89
4．4．2　柱狀圖　92
4．4．3　莖葉圖　95
4．4．4　箱線圖　96
4．4．5　散點圖　100
第5章　回歸分析　104
5．1　回歸分析的基本思想　104
5．2　線性回歸和最小二乘法　105
5．2．1　最小二乘法的幾何解釋　106
5．2．2　線性回歸和極大似然估計　107
5．3　嶺回歸和Lasso　108
5．3．1　嶺回歸　108
5．3．2　Lasso與稀疏解　110
5．3．3　Elastic Net　114
5．4　回歸算法的評價和選取　114
5．4．1　均方差和均方根誤差　114
5．4．2　可決系數(shù)　114
5．4．3　偏差-方差權(quán)衡　115
5．5　案例分析　118
5．5．1　數(shù)據(jù)導入和探索　118
5．5．2　數(shù)據(jù)預處理　120
5．5．3　將數(shù)據(jù)集分成訓練集和測試集　121
5．5．4　建立一個簡單的線性回歸模型　121
5．5．5　建立嶺回歸和Lasso模型　122
5．5．6　選取合適的模型　124
5．5．7　構(gòu)造新的變量　126
5．6　小結(jié)　126
第6章　分類算法　127
6．1　分類的基本思想　127
6．2　決策樹　130
6．2．1　基本原理　130
6．2．2　決策樹學習　131
6．2．3　過擬合和剪枝　138
6．2．4　實際使用　139
6．2．5　討論　148
6．3　邏輯回歸　148
6．3．1　sigmoid函數(shù)的性質(zhì)　148
6．3．2　通過極大似然估計來估計參數(shù)　149
6．3．3　牛頓法　151
6．3．4　正則化項的引入　153
6．3．5　實際使用　154
6．4　支持向量機　161
6．4．1　基本思想：最大化分類間隔　161
6．4．2　最大分類間隔的數(shù)學表示　163
6．4．3　如何處理線性不可分的數(shù)據(jù)　164
6．4．4　Hinge損失函數(shù)　166
6．4．5　對偶問題　168
6．4．6　非線性支持向量機和核技巧　170
6．4．7　實際使用　173
6．5　損失函數(shù)和不同的分類算法　175
6．5．1　損失函數(shù)　175
6．5．2　正則化項　178
6．6　交叉檢驗和caret包　180
6．6．1　模型選擇和交叉檢驗　180
6．6．2　在R中實現(xiàn)交叉檢驗以及caret包　182
6．7　分類算法的評價和比較　192
6．7．1　準確率　193
6．7．2　混淆矩陣　193
6．7．3　精確率、召回率和F1度量　195
6．7．4　ROC曲線和AUC　196
6．7．5　R中評價標準的計算　199
6．8　不平衡分類問題　201
6．8．1　使用不同的算法評價標準　201
6．8．2　樣本權(quán)值　201
6．8．3　取樣方法　202
6．8．4　代價敏感學習　203
第7章　推薦算法　205
7．1　推薦系統(tǒng)基礎　205
7．1．1　常用符號　208
7．1．2　推薦算法的評價標準　209
7．2　基于內(nèi)容的推薦算法　210
7．3　基于矩陣分解的算法　211
7．3．1　無矩陣分解的基準方法　211
7．3．2　基于奇異值分解的推薦算法　212
7．3．3　基于SVD推薦算法的變體　216
7．4　基于鄰域的推薦算法　222
7．4．1　基于用戶的鄰域推薦算法　223
7．4．2　基于商品的鄰域推薦算法　225
7．4．3　混合算法　226
7．4．4　相似度的計算　227
7．5　R中recommenderlab的實際 使用　232
7．6　推薦算法的評價和選取　250
第8章　排序?qū)W習　253
8．1　排序?qū)W習簡介　253
8．1．1　解決排序問題的基本思路　254
8．1．2　構(gòu)造特征　255
8．1．3　獲取相關度分數(shù)　256
8．1．4　數(shù)學符號　257
8．2　排序算法的評價　257
8．2．1　MAP　258
8．2．2　DCG　260
8．2．3　NDCG　261
8．2．4　討論　261
8．3　逐點方法　262
8．3．1　基于SVM的逐點排序方法　263
8．3．2　逐點方法討論　264
8．4　逐對方法　265
8．4．1　Ranking SVM算法　265
8．4．2　IR-SVM算法　266
8．4．3　RankNet算法　267
8．4．4　LambdaRank算法　271
8．4．5　LambdaMART算法　273
8．5　逐列方法　279
8．5．1　SVMmap算法　279
8．5．2　討論　283
第9章　集成學習　284
9．1　集成學習簡介　284
9．2　bagging簡介　285
9．3　隨機森林　289
9．3．1　訓練隨機森林的基本流程　289
9．3．2　利用隨機森林估計變量的 重要性　290
9．3．3　隨機森林的實際使用　291
9．4　boosting簡介　300
9．4．1　boosting和指數(shù)損失函數(shù)　301
9．4．2　AdaBoost算法　302
9．4．3　AdaBoost的實際使用　306
9．4．4　討論　311
9．5　提升決策樹和梯度提升算法　311
9．5．1　提升決策樹和梯度提升算法的基本原理　311
9．5．2　如何避免過擬合　315
9．5．3　gbm包的實際使用　318
9．5．4　討論　327
9．6　學習器的聚合及stacking　328
9．6．1　簡單平均　328
9．6．2　加權(quán)平均　329
9．6．3　stacking的基本思想及應用　329
9．7　小結(jié)　331
參考文獻　332
索引　334