機(jī)器學(xué)習(xí)

序
1 緒論
1.1 引言
1.2 基礎(chǔ)概念
1.3 發(fā)展歷程
1.4 機(jī)器學(xué)習(xí)全流程介紹
1.5 機(jī)器學(xué)習(xí)研究方向介紹
1.5.1 監(jiān)督學(xué)習(xí)
1.5.2 無監(jiān)督學(xué)習(xí)
1.5.3 深度學(xué)習(xí)
1.5.4 強(qiáng)化學(xué)習(xí)
1.5.5 結(jié)構(gòu)學(xué)習(xí)——以概率圖模型為例
2 數(shù)學(xué)基礎(chǔ)
2.1 線性代數(shù)
2.1.1 基本概念
2.1.2 基本運(yùn)算
2.1.3 線性相關(guān)性及矩陣的秩
2.1.4 特征值及特征向量
2.1.5 矩陣求導(dǎo)
2.1.6 奇異值分解
2.2 概率論與數(shù)理統(tǒng)計(jì)
2.2.1 概率論與機(jī)器學(xué)習(xí)
2.2.2 事件與事件空間
2.2.3 樣本空間與事件空間
2.2.4 常用結(jié)論
2.2.5 隨機(jī)變量
2.2.6 聯(lián)合概率分布、條件概率分布和邊緣分布
2.2.7 獨(dú)立性
2.2.8 極限定理
2.2.9 極大似然估計(jì)
2.3 凸優(yōu)化
2.3.1 優(yōu)化問題
2.3.2 基本概念
2.3.3 凸優(yōu)化問題
2.3.4 對(duì)偶性
2.3.5 無約束優(yōu)化問題
3 回歸模型
3.1 簡(jiǎn)介
3.2 線性回歸
3.2.1 線性回歸模型
3.2.2 正規(guī)方程法
3.2.3 梯度下降法
3.2.4 隨機(jī)梯度下降法
3.2.5 小批量梯度下降法
3.2.6 牛頓法
3.2.7 基于梯度的其他算法
3.2.8 線性回歸的概率論解釋
3.3 非線性回歸
3.3.1 多項(xiàng)式回歸
3.3.2 徑向基回歸
3.4 正則化線性回歸
3.4.1 嶺回歸
3.4.2 套索回歸
3.4.3 彈性網(wǎng)絡(luò)
3.4.4 收縮估計(jì)器
3.4.5 參數(shù)選擇
3.4.6 回歸模型總結(jié)
4 分類模型
4.1 判別模型與生成模型
4.1.1 非概率判別模型
4.1.2 概率判別模型
4.1.3 生成模型
4.1.4 判別模型vs生成模型
4.2 K最近鄰算法
4.2.1 距離度量
4.2.2 超參數(shù)K的選擇
4.2.3 分類決策機(jī)制
4.2.4 算法步驟及復(fù)雜度分析
4.2.5 K最近鄰算法在回歸問題中的應(yīng)用
4.3 貝葉斯分類器
4.3.1 生成貝葉斯分類器
4.3.2 樸素貝葉斯分類器
4.3.3 樸素貝葉斯分類器在文本分類中的應(yīng)用
4.4 高斯貝葉斯分類器
4.4.1 高斯樸素貝葉斯分類器
4.4.2 線性判別分析
4.4.3 二次判別分析
4.5 邏輯回歸
4.5.1 概率與邏輯函數(shù)
4.5.2 二分類問題中的邏輯回歸
4.5.3 多類邏輯回歸
4.5.4 邏輯回歸的求解
4.6 感知機(jī)
4.7 支持向量機(jī)
4.7.1 間隔與支持向量
4.7.2 硬間隔支持向量機(jī)
4.7.3 軟間隔支持向量機(jī)
4.7.4 支持向量在對(duì)偶形式中的作用
4.7.5 支持向量機(jī)的核方法
4.8 深度學(xué)習(xí)
4.8.1 神經(jīng)元
4.8.2 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)
4.8.3 損失函數(shù)
4.8.4 神經(jīng)網(wǎng)絡(luò)的優(yōu)化
4.8.5 神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)
4.8.6 卷積神經(jīng)網(wǎng)絡(luò)
4.8.7 循環(huán)神經(jīng)網(wǎng)絡(luò)
4.8.8 元學(xué)習(xí)
4.8.9 生成對(duì)抗網(wǎng)絡(luò)
4.8.10 深度學(xué)習(xí)模型的健壯性
4.9 決策樹與隨機(jī)森林
4.9.1 決策樹與可解釋性
4.9.2 基于信息論的目標(biāo)函數(shù)
4.9.3 決策樹的構(gòu)建
4.9.4 隨機(jī)森林
4.10 集成學(xué)習(xí)
4.10.1 聚合算法
4.10.2 提升算法
4.10.3 堆疊算法
5 無監(jiān)督學(xué)習(xí)
5.1 聚類算法
5.1.1 層次聚類
5.1.2 K均值算法
5.1.3 高斯混合模型
5.2 主成分分析
5.2.1 主成分分析優(yōu)化問題
5.2.2 主成分分析求解
5.2.3 主成分分析總結(jié)
6 學(xué)習(xí)理論
6.1 簡(jiǎn)介
6.2 特征選擇
6.2.1 過濾法
6.2.2 包裹法
6.2.3 嵌入法
6.2.4 降維
6.3 模型選擇
6.3.1 欠擬合與過擬合
6.3.2 訓(xùn)練-測(cè)試法
6.3.3 交叉驗(yàn)證法
6.3.4 模型選擇與特征選擇
6.4 偏差-方差權(quán)衡
6.4.1 預(yù)測(cè)誤差期望
6.4.2 偏差-方差分解
6.4.3 偏差-方差權(quán)衡與模型選擇
7 概率圖模型
7.1 結(jié)構(gòu)化概率表示
7.1.1 聯(lián)合概率表示
7.1.2 變量獨(dú)立性的結(jié)構(gòu)化表示
7.2 概率圖模型的表示
7.2.1 貝葉斯網(wǎng)絡(luò)
7.2.2 馬爾可夫網(wǎng)絡(luò)
7.3 概率圖模型的概率推斷
7.3.1 精確推斷
7.3.2 近似推斷
7.4 概率圖模型的結(jié)構(gòu)學(xué)習(xí)
7.4.1 有向圖模型的結(jié)構(gòu)學(xué)習(xí)
7.4.2 無向圖模型的結(jié)構(gòu)學(xué)習(xí)
后記