機器學習理論導引

前言
主要符號表
第1章 預備知識 ……………………………………………………………… 1
1.1 函數(shù)的性質(zhì) ………………………………………………………………… 1
1.2 重要不等式 ……………………………………………………………… 5
1.3 最優(yōu)化基礎 ……………………………………………………………… 9
1.4 支持向量機 ……………………………………………………………… 13
1.5 理論的作用 ……………………………………………………………… 18
1.6 閱讀材料 ………………………………………………………………… 19
習題 ……………………………………………………………………………… 21
參考文獻 ………………………………………………………………………… 22
第2章 可學性 ……………………………………………………………… 25
2.1 基本概念 …………………………………………………………………25
2.2 PAC學習 …………………………………………………………………… 26
2.3 分析實例 ………………………………………………………………… 30
2.4 閱讀材料 ………………………………………………………………… 35
習題 ……………………………………………………………………………… 36
參考文獻 ……………………………………………………………………… 37
第3章 復雜度 ……………………………………………………………39
3.1 數(shù)據(jù)分布無關 ………………………………………………………… 39
3.2 數(shù)據(jù)分布相關 ………………………………………………………… 46
3.3 分析實例 ……………………………………………………………… 50
3.4 閱讀材料 …………………………………………………………………56
習題 ..……………………………………………………………………………… 58
參考文獻 ……………………………………………………………………… 59
第4章 泛化界 ……………………………………………………………… 61
4.1 泛化誤差上界 ………………………………………………………… 61
4.2 泛化誤差下界 ………………………………………………………… 71
4.3 分析實例 ………………………………………………………………… 78
4.4 閱讀材料 ………………………………………………………………… 83
習題 ……………………………………………………………………………… 84
參考文獻 ……………………………………………………………………… 86
第5章 穩(wěn)定性 …………………………………………………………… 89
5.1 基本概念 ………………………………………………………………… 89
5.2 重要性質(zhì) ………………………………………………………………… 92
5.3 分析實例 ………………………………………………………………… 98
5.4 閱讀材料 ………………………………………………………………… 107
習題 ……………………………………………………………………………… 108
參考文獻 ……………………………………………………………………… 110
第6章 一致性 …………………………………………………………… 113
6.1 基本概念 ……………………………………………………………… 113
6.2 替代函數(shù) ……………………………………………………………… 117
6.3 劃分機制 ……………………………………………………………… 122
6.4 分析實例 ……………………………………………………………… 125
6.5 閱讀材料 ……………………………………………………………… 132
習題 ………………………………………………………………………… 134
參考文獻 ………………………………………………………………… 135
第7章 收斂率 …………………………………………………………… 137
7.1 基本概念 ……………………………………………………………… 137
7.2 確定優(yōu)化 ……………………………………………………………… 139
7.3 隨機優(yōu)化 ……………………………………………………………… 143
7.4 分析實例 ………………………………………………………………155
7.5 閱讀材料 ……………………………………………………………… 157
習題 ……………………………………………………………………………… 159
參考文獻 ……………………………………………………………………… 161
第8章 遺憾界 …………………………………………………………… 163
8.1 基本概念 ……………………………………………………………… 163
8.2 完全信息在線學習 ……………………………………………… 165
8.3 賭博機在線學習 ………………………………………………….170
8.4 分析實例 ……………………………………………………………184
8.5 閱讀材料 …………………………………………………………… 188
習題 …………………………………………………………………………… 189
參考文獻 …………………………………………………………………… 191
索引 ………………………………………………………………………… 193