機器學(xué)習

第1章  引言
  1.1  學(xué)習問題的標準描述
  1.2  設(shè)計-個學(xué)習系統(tǒng)
    1.2.1  選擇訓(xùn)練經(jīng)驗
    1.2.2  選擇目標函數(shù)
    1.2.3  選擇目標函數(shù)的表示
    1.2.4  選擇函數(shù)逼近算法
    1.2.5  最終設(shè)計
  1.3  機器學(xué)習的一些觀點和問題
  1.4  如何閱讀本書
  1.5  小結(jié)和補充讀物
  習題
第2章  概念學(xué)習和一般到特殊序
  2.1  簡介
  2.2  概念學(xué)習任務(wù)
    2.2.1  術(shù)語定義
    2.2.2  歸納學(xué)習假設(shè)
  2.3  作為搜索的概念學(xué)習
  2.4  FIND-S：尋找極大特殊假設(shè)
  2.5  變型空間和候選消除算法
    2.5.1  表示
    2.5.2  列表后消除算法
    2.5.3  變型空間的更簡潔表示
    2.5.4  候選消除學(xué)習算法
    2.5.5  算法的舉例
  2.6  關(guān)于變型空間和候選消除的說明
    2.6.1  候選消除算法是否會收斂到正確的假設(shè)
    2.6.2  下一步需要什么樣的訓(xùn)練樣例
    2.6.3  怎樣使用不完全學(xué)習概念
  2.7  歸納偏置
    2.7.1  -個有偏的假設(shè)空間
    2.7.2  無偏的學(xué)習器
    2.7.3  無偏學(xué)習的無用性
  2.8  小始和補充讀物
  習題
第3章  決策樹學(xué)習
  3.1  簡介
  3.2  決策樹表示法
  3.3  決策樹學(xué)習的適用問題
  3.4  基本的決策樹學(xué)習算法
    3.4.1  哪個屬性是最佳的分類屬性
    3.4.2  舉例
  3.5  決策樹學(xué)習中的假設(shè)空間搜索
  3.6  決策樹學(xué)習的歸納偏置
    3.6.1  限定偏置和優(yōu)選偏置
    3.6.2  為什么短的假設(shè)優(yōu)先
  3.7  決策樹學(xué)習的常見問題
    3.7.1  避免過度擬合數(shù)據(jù)
    3.7.2  合并連續(xù)值屬性
    3.7.3  屬性選擇的其他度量標準
    3.7.4  處理缺少屬性值的訓(xùn)練樣例
    3.7.5  處理不同代價的屬性
  3.8  小結(jié)和補充讀物
  習題
第4章  人工神經(jīng)網(wǎng)絡(luò)
  4.1  簡介
  4.2  神經(jīng)網(wǎng)絡(luò)表示
  4.3  適合神經(jīng)網(wǎng)絡(luò)學(xué)習的問題
  4.4  感知器
    4.4.1  感知器的表征能力
    4.4.2  感知器訓(xùn)練法則
    4.4.3  梯度下降和delta法則
    4.4.4  小結(jié)
  4.5  多層網(wǎng)絡(luò)和反向傳播算法
    4.5.1  可微閾值單元
    4.5.2  反向傳播算法
    4.5.3  反向傳播法則的推導(dǎo)
  4.6　　反向傳播算法的說明
    4.6.1  收斂性和局部極小值
    4.6.2  前饋網(wǎng)絡(luò)的表征能力
    4.6.3  假設(shè)空間搜索和歸納偏置
    4.6.4  隱藏層表示
    4.6.5  泛化.過度擬合和停止判據(jù)
  4.7  舉例：人臉識別
    4.7.1  任務(wù)
    4.7.2  設(shè)計要素
    4.7.3  學(xué)習到的隱藏層表示
  4.8  人工神經(jīng)網(wǎng)絡(luò)的高級課題
    4.8.1  其他可選的誤差函數(shù)
    4.8.2  其他可選的誤差最小化過程
    4.8.3  遞歸網(wǎng)絡(luò)
    4.8.4  動態(tài)修改網(wǎng)絡(luò)結(jié)構(gòu)
  4.9  小結(jié)和補充讀物
  習題
第5章  評估假設(shè)
  5.1  動機
  5.2  估計假設(shè)精度
    5.2.1  樣本錯誤率和真實錯誤率
    5.2.2  離散值假設(shè)的置信區(qū)間
  5.3  采樣理論基礎(chǔ)
    5.3.1  錯誤率估計和二項比例估計
    5.3.2  二項分布
    5.3.3  均值和方差
    5.3.4  估計量.偏差和方差
    5.3.5  置信區(qū)間
    5.3.6  雙側(cè)和單側(cè)邊界
  5.4  推導(dǎo)置信區(qū)間的一般方法
  5.5  兩個假設(shè)錯誤率間的差異
  5.6  學(xué)習算法比較
    5.6.1  配對t測試
    5.6.2  實際考慮
  5.7  小結(jié)和補充讀物
  習題
第6章  貝葉斯學(xué)習
  6.1  簡介
  6.2  貝葉斯法則
  6.3  貝葉斯法則和概念學(xué)習
    6.3.1  BRUTE-FORCE貝葉斯概念學(xué)習
    6.3.2  MAP假設(shè)和一致學(xué)習器
  6.4  極大似然和最小誤差平方假設(shè)
  6.5  用于預(yù)測概率的極大似然假設(shè)
  6.6  最小描述長度準則
  6.7  貝葉斯最優(yōu)分類器
  6.8  GIBBS算法
  6.9  樸素貝葉斯分類器
  6.10  舉例：學(xué)習分類文本
  6.11  貝葉斯信念網(wǎng)
    6.11.1  條件獨立性
    6.11.2  表示
    6.11.3  推理
    6.11.4  學(xué)習貝葉斯信念網(wǎng)
    6.11.5  貝葉斯網(wǎng)的梯度上升訓(xùn)練
    6.11.6  學(xué)習貝葉斯網(wǎng)的結(jié)構(gòu)
  6.12  EM算法
    6.12.1  估計k個高斯分布的均值
    6.12.2  EM算法的一般表述
    6.12.3  k均值算法的推導(dǎo)
  6.13  小結(jié)和補充讀物
  習題
第7章  計算學(xué)習理論
  7.1  簡介
  7.2  可能學(xué)習近似正確假設(shè)
    7.2.1  問題框架
    7.2.2  假設(shè)的錯誤率
    7.2.3  PAC可學(xué)習性
  7.3  有限假設(shè)空間的樣本復(fù)雜度
    7.3.1  不可知學(xué)習和不一致假設(shè)
    7.3.2  布爾文字的合取是PAC可學(xué)習的
    7.3.3  其他概念類別的PAC可學(xué)習性
  7.4  無限假設(shè)空間的樣本復(fù)雜度
    7.4.1  打散一個實例集合
    7.4.2  Vapnik-Chervonenkis維度
    7.4.3  樣本復(fù)雜度和VC維
    7.4.4  神經(jīng)網(wǎng)絡(luò)的VC維
  7.5  學(xué)習的出錯界限模型
    7.5.1  FIND-S算法的出錯界限
    7.5.2  HALVING算法的出錯界限
    7.5.3  最優(yōu)出錯界限
    7.5.4  加權(quán)多數(shù)算法
  7.6  小結(jié)和補充讀物
  習題
第8章  基于實例的學(xué)習
  8.1  簡介
  8.2  k-近鄰算法
    8.2.1  距離加權(quán)最近鄰算法
    8.2.2  對k-近鄰算法的說明
    8.2.3  術(shù)語注解
  8.3  局部加權(quán)回歸
    8.3.1  局部加權(quán)線性回歸
    8.3.2  局部加權(quán)回歸的說明
  8.4  徑向基函數(shù)
  8.5  基于案例的推理
  8.6  對消極學(xué)習和積極學(xué)習的評論
  8.7  小結(jié)和補充讀物
  習題
第9章  遺傳算法
  9.1  動機
  9.2  遺傳算法
    9.2.1  表示假設(shè)
    9.2.2  遺傳算子
    9.2.3  適應(yīng)度函數(shù)和假設(shè)選擇
  9.3  舉例
  9.4  假設(shè)空間搜索
  9.5  遺傳編程
    9.5.1  程序表示
    9.5.2  舉例
    9.5.3  遺傳編程說明
  9.6  進化和學(xué)習模型
    9.6.1  拉馬克進化
    9.6.2  鮑德溫效應(yīng)
  9.7  并行遺傳算法
  9.8  小結(jié)和補充讀物
  習題
第10章  學(xué)習規(guī)則集合
  10.1  簡介
  10.2  序列覆蓋算法
    10.2.1  一般到特殊的柱狀搜索
    10.2.2  幾種變型
  10.3  學(xué)習規(guī)則集：小結(jié)
  10.4　學(xué)習一階規(guī)則
    10.4.1  一階Horn子句
    10.4.2  術(shù)語
  10.5  學(xué)習一階規(guī)則集：FOIL
    10.5.1  FOIL中的候選特化式的生成
    10.5.2  引導(dǎo)FOIL的搜索
    10.5.3  學(xué)習遞歸規(guī)則集
    10.5.4  FOIL小結(jié)
  10.6  作為逆演繹的歸納
  10.7  逆歸納
    10.7.1  一階歸納
    10.7.2  逆歸納：一階情況
    10.7.3  逆歸納小結(jié)
    10.7.4  泛化.-包容和涵蘊
    10.7.5  PROGOL
  10.8  小結(jié)和補充讀物
  習題
第11章  分析學(xué)習
  11.1  簡介
  11.2　用完美的領(lǐng)域理論學(xué)習：PROLOG-EBG
  11.3  對基于解釋的學(xué)習的說明
    11.3.1　發(fā)現(xiàn)新特征
    11.3.2　演繹學(xué)習
    11.3.3　基于解釋的學(xué)習的歸納偏置
    11.3.4　知識級的學(xué)習
  11.4　搜索控制知識的基于解釋的學(xué)習
  11.5　小結(jié)和補充讀物
  習題
第12章  歸納和分析學(xué)習的結(jié)合
  12.1  動機
  12.2　學(xué)習的歸納-分析途徑
    12.2.1  學(xué)習問題
    12.2.2　假設(shè)空間搜索
  12.3  使用先驗知識得到初始假設(shè)
    12.3.1  KBANN算法
    12.3.2　舉例
    12.3.3　說明
  12.4　使用先驗知識改變搜索目標
    12.4.1  TANGENTPROP算法
    12.4.2  舉例
    12.4.3  說明
    12.4.4  EBNN算法
    12.4.5  說明
  12.5  使用先驗知識來擴展搜索算子
    12.5.1  FOCL算法
    12.5.2  說明
  12.6  研究現(xiàn)狀
  12.7  小結(jié)和補充讀物
  習題
第13章  增強學(xué)習
  13.1  簡介
  13.2  學(xué)習任務(wù)
  13.3  Q學(xué)習
    13.3.1  Q函數(shù)
    13.3.2  一個學(xué)習Q的算法
    13.3.3  舉例
    13.3.4  收斂性
    13.3.5  實驗策略
    13.3.6  更新序列
  13.4  非確定性回報和動作
  13.5  時間差分學(xué)習
  13.6  從樣例中泛化
  13.7  與動態(tài)規(guī)劃的聯(lián)樂
  13.8  小結(jié)和補充讀物
  習題
附錄  符號約定