機器學(xué)習(xí)：從公理到算法

第 1章引言 .............................................................................................1 1.1機器學(xué)習(xí)的目的：從數(shù)據(jù)到知識 .....................................................1 1.2機器學(xué)習(xí)的基本框架 .....................................................................2 1.2.1數(shù)據(jù)集合與對象特性表示 .....................................................3 1.2.2學(xué)習(xí)判據(jù) ............................................................................4 1.2.3學(xué)習(xí)算法 ............................................................................5 1.3機器學(xué)習(xí)思想簡論 .........................................................................5延伸閱讀 ..............................................................................................7習(xí)題 ....................................................................................................8參考文獻 ..............................................................................................9 第 2章歸類理論..................................................................................... 11 2.1類表示公理 ................................................................................. 13 2.2歸類公理 .................................................................................... 17 2.3歸類結(jié)果分類 ............................................................................. 20 2.4歸類方法設(shè)計準(zhǔn)則 ....................................................................... 22 2.4.1類一致性準(zhǔn)則 ................................................................... 23 2.4.2類緊致性準(zhǔn)則 ................................................................... 23 2.4.3類分離性準(zhǔn)則 ................................................................... 25 2.4.4奧卡姆剃刀準(zhǔn)則 ................................................................ 25討論 .................................................................................................. 27延伸閱讀 ............................................................................................ 29習(xí)題 .................................................................................................. 30參考文獻 ............................................................................................ 31 第 3章密度估計..................................................................................... 33 3.1密度估計的參數(shù)方法 ................................................................... 33 3.1.1最大似然估計 ................................................................... 33 3.1.2貝葉斯估計 ....................................................................... 35 3.2密度估計的非參數(shù)方法 ................................................................ 39 3.2.1直方圖 ............................................................................. 39 3.2.2核密度估計 ....................................................................... 39 3.2.3 K近鄰密度估計法 ............................................................ 40延伸閱讀 ............................................................................................ 40習(xí)題 .................................................................................................. 41參考文獻 ............................................................................................ 41 第 4章回歸 ........................................................................................... 43 4.1線性回歸 .................................................................................... 43 4.2嶺回歸 ....................................................................................... 47 4.3 Lasso回歸 .................................................................................. 48討論 .................................................................................................. 51習(xí)題 .................................................................................................. 52參考文獻 ............................................................................................ 52 第 5章單類數(shù)據(jù)降維 .............................................................................. 53 5.1主成分分析 ................................................................................. 54 5.2非負(fù)矩陣分解 ............................................................................. 56 5.3字典學(xué)習(xí)與稀疏表示 ................................................................... 57 5.4局部線性嵌入 ............................................................................. 59 5.5典型關(guān)聯(lián)分析 ............................................................................. 62 5.6多維度尺度分析與等距映射 ......................................................... 63討論 .................................................................................................. 65習(xí)題 .................................................................................................. 66參考文獻 ............................................................................................ 66 第 6章聚類理論..................................................................................... 69 6.1聚類問題表示及相關(guān)定義 ............................................................. 69 6.2聚類算法設(shè)計準(zhǔn)則 ....................................................................... 70 6.2.1類緊致性準(zhǔn)則和聚類不等式 ............................................... 70 6.2.2類分離性準(zhǔn)則和重合類非穩(wěn)定假設(shè) ..................................... 72 6.2.3類一致性準(zhǔn)則和迭代型聚類算法 ......................................... 73 6.3聚類有效性 ................................................................................. 73 6.3.1外部方法 .......................................................................... 73 6.3.2內(nèi)蘊方法 .......................................................................... 75延伸閱讀 ............................................................................................ 76習(xí)題 .................................................................................................. 77參考文獻 ............................................................................................ 77 第 7章聚類算法..................................................................................... 81 7.1樣例理論：層次聚類算法 ............................................................. 81 7.2原型理論：點原型聚類算法 .......................................................... 83 7.2.1 C均值算法 ...................................................................... 84 7.2.2模糊 C均值 ...................................................................... 86 7.3基于密度估計的聚類算法 ............................................................. 88 7.3.1基于參數(shù)密度估計的聚類算法 ............................................ 88 7.3.2基于無參數(shù)密度估計的聚類算法 ......................................... 97延伸閱讀 .......................................................................................... 106習(xí)題 ................................................................................................ 107參考文獻 .......................................................................................... 108 第 8章分類理論................................................................................... 111 8.1分類及相關(guān)定義 ........................................................................ 111 8.2從歸類理論到經(jīng)典分類理論 ....................................................... 112 8.2.1 PAC理論 ....................................................................... 113 8.2.2統(tǒng)計機器學(xué)習(xí)理論 ........................................................... 115 8.3分類測試公理 ........................................................................... 118討論 ................................................................................................ 119習(xí)題 ................................................................................................ 119參考文獻 .......................................................................................... 120 第 9章基于單類的分類算法：神經(jīng)網(wǎng)絡(luò) .................................................. 121 9.1分類問題的回歸表示 ................................................................. 121 9.2人工神經(jīng)網(wǎng)絡(luò) ........................................................................... 122 9.2.1人工神經(jīng)網(wǎng)絡(luò)相關(guān)介紹 .................................................... 122 9.2.2前饋神經(jīng)網(wǎng)絡(luò) ................................................................. 124 9.3從參數(shù)密度估計到受限玻耳茲曼機 ............................................. 129 9.4深度學(xué)習(xí) .................................................................................. 131 9.4.1自編碼器 ........................................................................ 132 9.4.2卷積神經(jīng)網(wǎng)絡(luò) ................................................................. 132討論 ................................................................................................ 133習(xí)題 ................................................................................................ 134參考文獻 .......................................................................................... 134 第 10章 K近鄰分類模型 ...................................................................... 137 10.1 K近鄰算法 ............................................................................. 138 10.1.1 K近鄰算法問題表示 .................................................... 138 10.1.2 K近鄰分類算法 .......................................................... 139 10.1.3 K近鄰分類算法的理論錯誤率 ...................................... 140 10.2距離加權(quán)最近鄰算法 ................................................................ 141 10.3 K近鄰算法加速策略 ............................................................... 142 10.4 kd樹 ...................................................................................... 143 10.5 K近鄰算法中的參數(shù)問題 ......................................................... 144延伸閱讀 .......................................................................................... 145習(xí)題 ................................................................................................ 145參考文獻 .......................................................................................... 145 第 11章線性分類模型 .......................................................................... 147 11.1判別函數(shù)和判別模型 ................................................................ 147 11.2線性判別函數(shù) .......................................................................... 148 11.3線性感知機算法 ...................................................................... 151 11.3.1感知機數(shù)據(jù)表示 ........................................................... 151 11.3.2感知機算法的歸類判據(jù) ................................................. 152 11.3.3感知機分類算法 ........................................................... 153 11.4支持向量機 ............................................................................. 156 11.4.1線性可分支持向量機 .................................................... 156 11.4.2近似線性可分支持向量機 ............................................. 159 11.4.3多類分類問題 .............................................................. 162討論 ................................................................................................ 164習(xí)題 ................................................................................................ 165參考文獻 .......................................................................................... 166 第 12章對數(shù)線性分類模型 ................................................................... 167 12.1 Softmax回歸 .......................................................................... 167 12.2 Logistic回歸 ........................................................................... 170討論 ................................................................................................ 172習(xí)題 ................................................................................................ 173參考文獻 .......................................................................................... 173 第 13章貝葉斯決策 ............................................................................. 175 13.1貝葉斯分類器 .......................................................................... 175 13.2樸素貝葉斯分類 ...................................................................... 176 13.2.1最大似然估計 .............................................................. 178 13.2.2貝葉斯估計 ................................................................. 181 13.3最小化風(fēng)險分類 ...................................................................... 183 13.4效用最大化分類 ...................................................................... 185討論 ................................................................................................ 185習(xí)題 ................................................................................................ 186參考文獻 .......................................................................................... 186 第 14章決策樹 .................................................................................... 187 14.1決策樹的類表示 ...................................................................... 187 14.2信息增益與 ID3算法 ............................................................... 192 14.3增益比率與 C4.5算法 .............................................................. 194 14.4 Gini指數(shù)與 CART算法 ........................................................... 195 14.5決策樹的剪枝 .......................................................................... 196討論 ................................................................................................ 197習(xí)題 ................................................................................................ 197參考文獻 .......................................................................................... 198 第 15章多類數(shù)據(jù)降維 .......................................................................... 199 15.1有監(jiān)督特征選擇模型 ................................................................ 199 15.1.1過濾式特征選擇 ........................................................... 200 15.1.2包裹式特征選擇 ........................................................... 201 15.1.3嵌入式特征選擇 ........................................................... 201 15.2有監(jiān)督特征提取模型 ................................................................ 202 15.2.1線性判別分析 .............................................................. 202 15.2.2二分類線性判別分析問題 ............................................. 202 15.2.3二分類線性判別分析 .................................................... 203 15.2.4二分類線性判別分析優(yōu)化算法 ....................................... 205 15.2.5多分類線性判別分析 .................................................... 205延伸閱讀 .......................................................................................... 207習(xí)題 ................................................................................................ 207參考文獻 .......................................................................................... 207 第 16章多類數(shù)據(jù)升維：核方法 ............................................................. 209 16.1核方法 .................................................................................... 209 16.2非線性支持向量機 ................................................................... 210 16.2.1特征空間 ..................................................................... 210 16.2.2核函數(shù) ........................................................................ 210 16.2.3常用核函數(shù) ................................................................. 212 16.2.4非線性支持向量機 ....................................................... 212 16.3多核方法 ................................................................................ 213討論 ................................................................................................ 215習(xí)題 ................................................................................................ 215參考文獻 .......................................................................................... 216 第 17章多源數(shù)據(jù)學(xué)習(xí) .......................................................................... 217 17.1多源數(shù)據(jù)學(xué)習(xí)的分類 ................................................................ 217 17.2單類多源數(shù)據(jù)學(xué)習(xí) ................................................................... 217 17.2.1完整視角下的單類多源數(shù)據(jù)學(xué)習(xí) ................................... 218 17.2.2不完整視角下的單類多源數(shù)據(jù)學(xué)習(xí) ................................ 220 17.3多類多源數(shù)據(jù)學(xué)習(xí) ................................................................... 221 17.4多源數(shù)據(jù)學(xué)習(xí)中的基本假設(shè) ...................................................... 222討論 ................................................................................................ 222習(xí)題 ................................................................................................ 223參考文獻 .......................................................................................... 223 后記 ........................................................................................................ 225 索引 ........................................................................................................ 229