數(shù)據(jù)科學(xué)優(yōu)化方法

第 1 章 導(dǎo) 論
1.1 本書考慮的 化問(wèn)題
1.2 優(yōu)化方法的特點(diǎn)和要求
1.3 本書主要內(nèi)容
第 2 章 無(wú)約束優(yōu)化方法基礎(chǔ)
2.1 性條件
2.2 方法框架
2.3 收斂準(zhǔn)則
第 2 章習(xí)題
第 3 章 線搜索方法
3.1 線搜索方法
3.2 線搜索方法的收斂性
3.3 非 線搜索方法
3.4 非 線搜索方法的收斂性
第 3 章習(xí)題
第 4 章 負(fù)梯度方法
4.1 梯度下降方法
4.2 速下降方法
4.3 梯度下降方法的變體
4.4 梯度下降方法的改進(jìn)
4.5 數(shù)值實(shí)驗(yàn)
第 4 章習(xí)題
第 5 章 牛頓方法
5.1 基本牛頓方法
5.2 基本牛頓方法的改進(jìn)
5.3 牛頓方法在非線性 小二乘問(wèn)題中的應(yīng)用
5.4 數(shù)值實(shí)驗(yàn)
第 5 章習(xí)題
第 6 章 擬牛頓方法
6.1 擬牛頓條件
6.2 對(duì)稱秩 1 方法
6.3 DFP 方法
6.4 BFGS 方法
6.5 Broyden 族方法
6.6 擬牛頓方法的收斂性及收斂速度
6.7 L-BFGS 方法
6.8 數(shù)值實(shí)驗(yàn)
第 6 章習(xí)題
第 7 章 共軛梯度方法
7.1 共軛方向方法
7.2 針對(duì)正定二次函數(shù)的共軛梯度方法
7.3 非線性共軛梯度方法
7.4 數(shù)值實(shí)驗(yàn)
第 7 章習(xí)題
第 8 章 約束 化問(wèn)題的 性理論
8.1 約束 化問(wèn)題的一般形式和定義
8.2 約束 化問(wèn)題的一階 性條件
8.3 約束 化問(wèn)題的二階 性條件
8.4 約束 化的對(duì)偶問(wèn)題
第 8 章習(xí)題
第 9 章 罰函數(shù)方法
9.1 二次罰函數(shù)方法
9.2 障礙函數(shù)方法
9.3 增廣 Lagrange 函數(shù)方法
9.4 數(shù)值實(shí)驗(yàn)
第 9 章習(xí)題
第 10 章 近端方法
10.1 近端算子
10.2 近端極小化方法
10.3 近端梯度方法
10.4 加速近端梯度方法
第 11 章 坐標(biāo)下降方法
11.1 隨機(jī)坐標(biāo)下降方法
11.2 加速隨機(jī)坐標(biāo)下降方法
11.3 循環(huán)坐標(biāo)下降方法
11.4 求解可分正則 化問(wèn)題的隨機(jī)坐標(biāo)下降方法
第 12 章 交替方向乘子方法
12.1 方法基礎(chǔ)
12.2 ADMM 方法的一般形式和理論性質(zhì)
12.3 一致性問(wèn)題
12.4 共享問(wèn)題
12.5 數(shù)值實(shí)驗(yàn)
附錄 A 數(shù)學(xué)基礎(chǔ)
A.1 線性代數(shù)
A.2 微積分
A.3 凸分析
附錄 B 符號(hào)說(shuō)明
參考文獻(xiàn)