機器學習中的數(shù)學修煉

目錄

第1章概率論基礎(chǔ)

1.1概率論的基本概念

1.2隨機變量數(shù)字特征

1.2.1期望

1.2.2方差

1.2.3矩與矩母函數(shù)

1.2.4協(xié)方差與協(xié)方差矩陣

1.3基本概率分布模型

1.3.1離散概率分布

1.3.2連續(xù)概率分布

1.3.3在R語言中使用內(nèi)嵌分布

1.4概率論中的重要定理

1.4.1大數(shù)定理

1.4.2中心極限定理

1.5經(jīng)驗分布函數(shù)

第2章最優(yōu)化基礎(chǔ)

2.1泰勒公式

2.2里塞矩陣

2.3凸函數(shù)與詹森不等式

2.3.1凸函數(shù)的概念

2.3.2詹森不等式及其證明

2.3.3詹森不等式的應(yīng)用

2.4泛函與抽象空間

2.4.1線性空間

2.4.2距離空間

2.4.3賦范空間

2.4.4巴拿赫空間

2.4.5內(nèi)積空間

2.4.6希爾伯特空間

2.5從泛函到變分法

2.5.1理解泛函的概念

2.5.2關(guān)于變分概念

2.5.3變分法的基本方程

2.5.4哈密頓原理

2.5.5等式約束下的變分

第3章統(tǒng)計推斷

3.1隨機采樣

3.2參數(shù)估計

3.2.1參數(shù)估計的基本原理

3.2.2單總體參數(shù)區(qū)間估計

3.2.3雙總體均值差的估計

3.2.4雙總體比例差的估計

3.3假設(shè)檢驗

3.3.1基本概念

3.3.2兩類錯誤

3.3.3均值檢驗

3.4最大似然估計

3.4.1最大似然法的基本原理

3.4.2求最大似然估計的方法

3.4.3最大似然估計應(yīng)用舉例

第4章采樣方法

4.1蒙特卡洛法求定積分

4.1.1無意識統(tǒng)計學家法則

4.1.2投點法

4.1.3期望法

4.2蒙特卡洛采樣

4.2.1逆采樣

4.2.2博克斯穆勒變換

4.2.3拒絕采樣與自適應(yīng)拒絕采樣

4.3矩陣的極限與馬爾可夫鏈

4.4查普曼柯爾莫哥洛夫等式

4.5馬爾可夫鏈蒙特卡洛方法

4.5.1重要性采樣

4.5.2馬爾可夫鏈蒙特卡洛方法的基本概念

4.5.3米特羅波利斯黑斯廷斯算法

4.5.4吉布斯采樣

第5章一元線性回歸

5.1回歸分析的性質(zhì)

5.2回歸的基本概念

5.2.1總體的回歸函數(shù)

5.2.2隨機干擾的意義

5.2.3樣本的回歸函數(shù)

5.3回歸模型的估計

5.3.1普通最小二乘法原理

5.3.2一元線性回歸的應(yīng)用

5.3.3經(jīng)典模型的基本假定

5.3.4總體方差的無偏估計

5.3.5估計參數(shù)的概率分布

5.4正態(tài)條件下的模型檢驗

5.4.1擬合優(yōu)度的檢驗

5.4.2整體性假定檢驗

5.4.3單個參數(shù)的檢驗

5.5一元線性回歸模型預測

5.5.1點預測

5.5.2區(qū)間預測

第6章多元線性回歸

6.1多元線性回歸模型

6.2多元回歸模型估計

6.2.1最小二乘估計量

6.2.2多元回歸實例

6.2.3總體參數(shù)估計量

6.3從線性代數(shù)角度理解最小二乘

6.3.1最小二乘問題的通解

6.3.2最小二乘問題的計算

6.4多元回歸模型檢驗

6.4.1線性回歸的顯著性

6.4.2回歸系數(shù)的顯著性

6.5多元線性回歸模型預測

6.6格蘭杰因果關(guān)系檢驗

第7章線性回歸進階

7.1更多回歸模型函數(shù)形式

7.1.1雙對數(shù)模型以及生產(chǎn)函數(shù)

7.1.2倒數(shù)模型與菲利普斯曲線

7.1.3多項式回歸模型及其分析

7.2回歸模型的評估與選擇

7.2.1嵌套模型選擇

7.2.2赤池信息準則

7.2.3逐步回歸方法

7.3現(xiàn)代回歸方法的新進展

7.3.1多重共線性

7.3.2嶺回歸

7.3.3從嶺回歸到LASSO

7.3.4正則化

第8章邏輯回歸與最大熵模型

8.1邏輯回歸

8.2牛頓法解Logistic回歸

8.3多元邏輯回歸

8.4最大熵模型

8.4.1最大熵原理

8.4.2約束條件

8.4.3模型推導

8.4.4最大熵模型的最大似然估計

第9章聚類分析

9.1聚類的概念

9.2k均值算法

9.2.1距離度量

9.2.2算法描述

9.2.3應(yīng)用實例

9.3最大期望算法

9.3.1算法原理

9.3.2收斂探討

9.4高斯混合模型

9.4.1模型推導

9.4.2應(yīng)用實例

9.5密度聚類與DBSCAN算法

第10章支持向量機

10.1線性可分的支持向量機

10.1.1函數(shù)距離與幾何距離

10.1.2最大間隔分類器

10.1.3拉格朗日乘數(shù)法

10.1.4對偶問題的求解

10.2松弛因子與軟間隔模型

10.3非線性支持向量機方法

10.3.1從更高維度上分類

10.3.2非線性核函數(shù)方法

10.3.3機器學習中的核方法

10.3.4默瑟定理

10.4對數(shù)據(jù)進行分類的實踐

10.4.1基本建模函數(shù)

10.4.2分析建模結(jié)果

第11章貝葉斯推斷與概率圖模型

11.1貝葉斯公式與邊緣分布

11.2貝葉斯推斷中的重要概念

11.2.1先驗概率與后驗概率

11.2.2共軛分布

11.3樸素貝葉斯分類器

11.4貝葉斯網(wǎng)絡(luò)

11.4.1基本結(jié)構(gòu)單元

11.4.2模型推理

11.5貝葉斯推斷的應(yīng)用示例

11.6隱馬爾可夫模型

11.6.1隨機過程

11.6.2從時間角度考慮不確定性

11.6.3前向算法

11.6.4維特比算法

第12章降維與流形學習

12.1主成分分析

12.2奇異值分解

12.2.1一個基本的認識

12.2.2為什么可以做SVD

12.2.3SVD與PCA的關(guān)系

12.2.4應(yīng)用示例與矩陣偽逆

12.3多維標度法

第13章決策樹

13.1決策樹基礎(chǔ)

13.1.1Hunt算法

13.1.2基尼測度與劃分

13.1.3信息熵與信息增益

13.1.4分類誤差

13.2決策樹進階

13.2.1ID3算法

13.2.2C4.5算法

13.3分類回歸樹

13.4決策樹剪枝

13.4.1沒有免費午餐定理

13.4.2剪枝方法

13.5分類器的評估

第14章人工神經(jīng)網(wǎng)絡(luò)

14.1從感知機開始

14.1.1感知機模型

14.1.2感知機學習

14.1.3多層感知機

14.2基本神經(jīng)網(wǎng)絡(luò)

14.2.1神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

14.2.2符號標記說明

14.2.3后向傳播算法

14.3神經(jīng)網(wǎng)絡(luò)實踐

14.3.1核心函數(shù)介紹

14.3.2應(yīng)用分析實踐

第15章集成學習

15.1集成學習的理論基礎(chǔ)

15.2Bootstrap方法

15.3Bagging與隨機森林

15.4Boosting與AdaBoost

附錄A信息論基礎(chǔ)

附錄B

參考文獻