集成學習：基礎與算法

第1章 緒 論 1
1.1 基本概念 1
1.2 常用學習算法 3
1.2.1 線性判別分析 3
1.2.2 決策樹 4
1.2.3 神經(jīng)網(wǎng)絡 6
1.2.4 樸素貝葉斯 8
1.2.5 k-近鄰 9
1.2.6 支持向量機和核方法 9
1.3 評估和對比 12
1.4 集成學習方法 14
1.5 集成學習方法的應用 16
1.6 拓展閱讀 19

第2章 Boosting 21
2.1 Boosting 過程 21
2.2 AdaBoost 算法 22
2.3 說明性舉例 26
2.4 理論探討 29
2.4.1 基本分析 29
2.4.2 間隔解釋 30
2.4.3 統(tǒng)計視角 32
2.5 多分類問題 35
2.6 容噪能力 37
2.7 拓展閱讀 40

第3章 Bagging 43
3.1 兩種集成范式 43
3.2 Bagging 算法 44
3.3 說明性舉例 45
3.4 理論探討 48
3.5 隨機樹集成 52
3.5.1 隨機森林 52
3.5.2 隨機化譜 55
3.5.3 隨機森林用于密度估計 56
3.5.4 隨機森林用于異常檢測 58
3.6 拓展閱讀 60

第4章 結合方法 61
4.1 結合帶來的益處 61
4.2 均值法 62
4.2.1 簡單平均法 62
4.2.2 加權平均法 63
4.3 投票法 65
4.3.1 絕對多數(shù)投票法 65
4.3.2 相對多數(shù)投票法 66
4.3.3 加權投票法 67
4.3.4 軟投票法 68
4.3.5 理論探討 70
4.4 學習結合法 76
4.4.1 Stacking 76
4.4.2 無限集成 78
4.5 其他結合方法 79
4.5.1 代數(shù)法 80
4.5.2 行為知識空間法 81
4.5.3 決策模板法 81
4.6 相關方法 82
4.6.1 糾錯輸出編碼法 82
4.6.2 動態(tài)分類器選擇法 85
4.6.3 混合專家模型 86
4.7 拓展閱讀 87

第5章 多樣性 91
5.1 集成多樣性 91
5.2 誤差分解 92
5.2.1 誤差-分歧分解 92
5.2.2 偏差-方差-協(xié)方差分解 94
5.3 多樣性度量 96
5.3.1 成對度量 96
5.3.2 非成對度量 97
5.3.3 小結和可視化 100
5.3.4 多樣性度量的局限 101
5.4 信息論多樣性 102
5.4.1 信息論和集成 102
5.4.2 交互信息多樣性 103
5.4.3 多信息多樣性 104
5.4.4 估計方法 105
5.5 多樣性增強 106
5.6 拓展閱讀 108

第6章 集成修剪 109
6.1 何謂集成修剪 109
6.2 多比全好 110
6.3 修剪方法分類 113
6.4 基于排序的修剪 114
6.5 基于聚類的修剪 117
6.6 基于優(yōu)化的修剪 117
6.6.1 啟發(fā)式優(yōu)化修剪 118
6.6.2 數(shù)學規(guī)劃修剪 118
6.6.3 概率修剪 121
6.7 拓展閱讀 122

第7章 聚類集成 125
7.1 聚類 125
7.1.1 聚類方法 125
7.1.2 聚類評估 127
7.1.3 為什么要做聚類集成 129
7.2 聚類集成方法分類 130
7.3 基于相似度的方法 132
7.4 基于圖的方法 133
7.5 基于重標記的方法 136
7.6 基于變換的方法 140
7.7 拓展閱讀 143

第8章 進階議題 145
8.1 半監(jiān)督學習 145
8.1.1 未標記數(shù)據(jù)的效用 145
8.1.2 半監(jiān)督學習的集成學習方法 146
8.2 主動學習 151
8.2.1 人為介入的效用 151
8.2.2 基于集成的主動學習 152
8.3 代價敏感學習 153
8.3.1 不均等代價下的學習 153
8.3.2 代價敏感學習的集成方法 154
8.4 類別不平衡學習 158
8.4.1 類別不平衡 158
8.4.2 類別不平衡學習的性能評估 160
8.4.3 類別不平衡學習的集成方法 163
8.5 提升可解釋性 166
8.5.1 集成約簡 166
8.5.2 規(guī)則抽取 167
8.5.3 可視化 168
8.6 未來的研究方向 169
8.7 拓展閱讀 171
參考文獻 173
索引 203