機(jī)器學(xué)習(xí)原理與實(shí)踐（Python版）

目錄
第1章機(jī)器學(xué)習(xí)初探

1.1初識(shí)機(jī)器學(xué)習(xí)

1.1.1從小蝌蚪找媽媽談起

1.1.2機(jī)器學(xué)習(xí)的主要任務(wù)

1.2工欲善其事，必先利其器

1.2.1scikitlearn

1.2.2NumPy

1.2.3SciPy

1.2.4Matplotlib

1.2.5Pandas

1.3最簡(jiǎn)單的機(jī)器學(xué)習(xí)模型

1.3.1貝葉斯公式與邊緣分布

1.3.2先驗(yàn)概率與后驗(yàn)概率

1.3.3樸素貝葉斯分類(lèi)器原理

1.4泰坦尼克之災(zāi)

1.4.1認(rèn)識(shí)問(wèn)題及數(shù)據(jù)

1.4.2數(shù)據(jù)預(yù)處理

1.4.3特征篩選

1.4.4分類(lèi)器的構(gòu)建

1.4.5分類(lèi)器的評(píng)估

第2章一元線(xiàn)性回歸

2.1回歸分析的性質(zhì)

2.2回歸的基本概念

2.2.1總體的回歸函數(shù)

2.2.2隨機(jī)干擾的意義

2.2.3樣本的回歸函數(shù)

2.3回歸模型的估計(jì)

2.3.1普通最小二乘法原理

2.3.2一元線(xiàn)性回歸的應(yīng)用

2.3.3經(jīng)典模型的基本假定

2.3.4總體方差的無(wú)偏估計(jì)

2.3.5估計(jì)參數(shù)的概率分布

2.4正態(tài)條件下的模型檢驗(yàn)

2.4.1擬合優(yōu)度的檢驗(yàn)

2.4.2整體性假定檢驗(yàn)

2.4.3單個(gè)參數(shù)的檢驗(yàn)

2.5一元線(xiàn)性回歸模型預(yù)測(cè)

2.5.1點(diǎn)預(yù)測(cè)

2.5.2區(qū)間預(yù)測(cè)






第3章多元線(xiàn)性回歸

3.1多元線(xiàn)性回歸模型

3.2多元回歸模型估計(jì)

3.2.1最小二乘估計(jì)量

3.2.2多元回歸的實(shí)例

3.2.3總體參數(shù)估計(jì)量

3.3從線(xiàn)代角度理解最小二乘

3.3.1最小二乘問(wèn)題的通解

3.3.2最小二乘問(wèn)題的計(jì)算

3.4多元回歸模型檢驗(yàn)

3.4.1線(xiàn)性回歸的顯著性

3.4.2回歸系數(shù)的顯著性

3.5多元線(xiàn)性回歸模型預(yù)測(cè)

3.6格蘭杰因果關(guān)系檢驗(yàn)

第4章線(xiàn)性回歸進(jìn)階

4.1更多回歸模型函數(shù)形式

4.1.1雙對(duì)數(shù)模型以及生產(chǎn)函數(shù)

4.1.2倒數(shù)模型與菲利普斯曲線(xiàn)

4.1.3多項(xiàng)式回歸模型及其分析

4.2回歸模型的評(píng)估與選擇

4.2.1嵌套模型選擇

4.2.2赤池信息準(zhǔn)則

4.3現(xiàn)代回歸方法的新進(jìn)展

4.3.1多重共線(xiàn)性

4.3.2從嶺回歸到LASSO

4.3.3正則化與沒(méi)有免費(fèi)午餐原理

4.3.4彈性網(wǎng)絡(luò)

4.3.5RANSAC

第5章邏輯回歸與最大熵模型

5.1邏輯回歸

5.2牛頓法解邏輯回歸

5.3應(yīng)用實(shí)例： 二分類(lèi)問(wèn)題

5.3.1數(shù)據(jù)初探

5.3.2建模

5.4多元邏輯回歸

5.5最大熵模型

5.5.1最大熵原理

5.5.2約束條件

5.5.3模型推導(dǎo)

5.5.4極大似然估計(jì)

5.6應(yīng)用實(shí)例： 多分類(lèi)問(wèn)題

5.6.1數(shù)據(jù)初探

5.6.2建模

第6章神經(jīng)網(wǎng)絡(luò)

6.1從感知機(jī)開(kāi)始

6.1.1感知機(jī)模型

6.1.2感知機(jī)學(xué)習(xí)

6.1.3多層感知機(jī)

6.1.4感知機(jī)應(yīng)用示例

6.2基本神經(jīng)網(wǎng)絡(luò)

6.2.1神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

6.2.2符號(hào)標(biāo)記說(shuō)明

6.2.3后向傳播算法

6.3神經(jīng)網(wǎng)絡(luò)實(shí)踐

6.3.1建模

6.3.2Softmax與神經(jīng)網(wǎng)絡(luò)

第7章支持向量機(jī)

7.1線(xiàn)性可分的支持向量機(jī)

7.1.1函數(shù)距離與幾何距離

7.1.2最大間隔分類(lèi)器

7.1.3拉格朗日乘數(shù)法

7.1.4對(duì)偶問(wèn)題的求解

7.2松弛因子與軟間隔模型

7.3非線(xiàn)性支持向量機(jī)方法

7.3.1從更高維度上分類(lèi)

7.3.2非線(xiàn)性核函數(shù)方法

7.3.3機(jī)器學(xué)習(xí)中的核方法

7.3.4默瑟定理

7.4對(duì)數(shù)據(jù)進(jìn)行分類(lèi)的實(shí)踐

7.4.1數(shù)據(jù)分析

7.4.2線(xiàn)性可分的例子

7.4.3線(xiàn)性不可分的例子

第8章k近鄰算法

8.1距離度量

8.2k近鄰模型

8.2.1分類(lèi)

8.2.2回歸

8.3在Python中應(yīng)用k近鄰算法

8.4k近鄰搜索的實(shí)現(xiàn)

8.4.1構(gòu)建kdtree

8.4.2區(qū)域搜索

8.4.3最近鄰搜索

第9章決策樹(shù)

9.1決策樹(shù)基礎(chǔ)

9.1.1Hunt算法

9.1.2基尼測(cè)度與劃分

9.1.3信息熵與信息增益

9.1.4分類(lèi)誤差

9.2決策樹(shù)進(jìn)階

9.2.1ID3算法

9.2.2C4.5算法

9.3分類(lèi)回歸樹(shù)

9.4決策樹(shù)剪枝

9.5決策樹(shù)應(yīng)用實(shí)例

第10章集成學(xué)習(xí)

10.1集成學(xué)習(xí)的理論基礎(chǔ)

10.2Bootstrap方法

10.3Bagging與隨機(jī)森林

10.3.1算法原理

10.3.2應(yīng)用實(shí)例

10.4Boosting與AdaBoost

10.4.1算法原理

10.4.2應(yīng)用實(shí)例

10.5梯度提升

10.5.1梯度提升樹(shù)與回歸

10.5.2梯度提升樹(shù)與分類(lèi)

10.5.3梯度提升樹(shù)的原理推導(dǎo)

第11章聚類(lèi)分析

11.1聚類(lèi)的概念

11.2k均值算法

11.2.1算法描述

11.2.2應(yīng)用實(shí)例——圖像的色彩量化

11.3最大期望算法

11.3.1算法原理

11.3.2收斂探討

11.4高斯混合模型

11.4.1模型推導(dǎo)

11.4.2應(yīng)用實(shí)例

11.5密度聚類(lèi)

11.5.1DBSCAN算法

11.5.2應(yīng)用實(shí)例

11.6層次聚類(lèi)

11.6.1AGNES算法

11.6.2應(yīng)用實(shí)例

11.7譜聚類(lèi)

11.7.1基本符號(hào)

11.7.2正定矩陣與半正定矩陣

11.7.3拉普拉斯矩陣

11.7.4相似圖

11.7.5譜聚類(lèi)切圖

11.7.6算法描述

11.7.7應(yīng)用實(shí)例

第12章降維與流形學(xué)習(xí)

12.1主成分分析

12.2奇異值分解

12.2.1一個(gè)基本的認(rèn)識(shí)

12.2.2為什么可以做SVD

12.2.3SVD與PCA的關(guān)系

12.2.4應(yīng)用舉例與矩陣的偽逆

12.3多維標(biāo)度法

第13章采樣方法

13.1蒙特卡洛法求定積分

13.1.1無(wú)意識(shí)統(tǒng)計(jì)學(xué)家法則

13.1.2投點(diǎn)法

13.1.3期望法

13.2蒙特卡洛采樣

13.2.1逆采樣

13.2.2博克斯穆勒變換

13.2.3拒絕采樣與自適應(yīng)拒絕采樣

13.3矩陣的極限與馬爾科夫鏈

13.4查普曼柯?tīng)柲缏宸虻仁?br />
13.5馬爾科夫鏈蒙特卡洛

13.5.1重要性采樣

13.5.2馬爾科夫鏈蒙特卡洛的基本概念

13.5.3梅特羅波利斯黑斯廷斯算法

13.5.4吉布斯采樣

第14章概率圖模型

14.1共軛分布

14.2貝葉斯網(wǎng)絡(luò)

14.2.1基本結(jié)構(gòu)單元

14.2.2模型推理

14.3貝葉斯網(wǎng)絡(luò)的Python實(shí)例

14.4隱馬爾科夫模型

14.4.1隨機(jī)過(guò)程

14.4.2從時(shí)間角度考慮不確定性

14.4.3前向算法

14.4.4維特比算法