隨機學習與優(yōu)化：基于靈敏度的方法

1 引言
　1.1 學習和優(yōu)化概述
　　1.1.1 問題描述
　　1.1.2 最優(yōu)策略
　　1.1.3 學習和優(yōu)化的基本局限
　　1.1.4 學習和優(yōu)化的基于靈敏度的觀點
　1.2 不同學科中問題的描述
　　1.2.1 攝動分析（PA）
　　1.2.2 馬爾可夫決策過程
　　1.2.3 強化學習
　　1.2.4 辨識和自適應控制
　　1.2.5 基于事件的優(yōu)化和性能勢集結(jié)
　1.3 學習和優(yōu)化學科關系圖
　1.4 術語和符號
　習題
第1部分 學習與優(yōu)化的四門學科
　2 攝動分析
　　2.1 馬爾可夫鏈的攝動分析
　　　2.1.1 構(gòu)造攝動樣本路徑
　　　2.1.2 攝動實現(xiàn)因子和性能勢
　　　2.1.3 性能導數(shù)公式
　　　2.1.4 折扣報酬準則的梯度
　　　2.1.5 高階導數(shù)和麥克勞林級數(shù)
　　2.2 馬爾可夫過程的性能靈敏度
　　2.3 半馬爾可夫過程的性能靈敏度
　　　2.3.1 半馬爾可夫過程的基礎知識
　　　2.3.2 性能靈敏度公式
　　2.4 排隊系統(tǒng)的攝動分析
　　　2.4.1 構(gòu)造攝動樣本路徑
　　　2.4.2 攝動實現(xiàn)
　　　2.4.3 性能導數(shù)
　　　2.4.4 相關理論問題的評注
　　2.5 其他方法
　　習題
　3 利用攝動分析的學習與優(yōu)化
　　3.1 性能勢
　　　3.1.1 數(shù)值方法
　　　3.1.2 從樣本路徑學習性能勢
　　　3.1.3 耦合
　　3.2 性能梯度
　　　3.2.1 通過性能勢估計
　　　3.2.2 直接學習
　　3.3 利用攝動分析的優(yōu)化
　　　3.3.1 梯度方法和隨機逼近
　　　3.3.2 利用長樣本路徑的優(yōu)化
　　　3.3.3 應用
　　習題
　4 馬爾可夫決策過程
　……
第2部分 基于事件的優(yōu)化——一種新方法
第3部分 附錄：數(shù)學基礎