攝動馬爾可夫決策與哈密爾頓圈

總序
前言
主要符號表
第一部分 馬氏決策過程與攝動
　第1章 緒論
　 1.1 序列決策模型
　 1.2 馬氏決策過程的例子
　1.3 馬氏決策過程的定義與記號
　 1.3.1 決策時刻與周期
　 1.3.2 狀態(tài)與行動集
　 1.3.3 轉(zhuǎn)移概率和報酬
　 1.3.4 歷史、決策規(guī)則與策略
　 1.3.5 誘導過程、效用準則與馬氏策略優(yōu)勢
　 1.4 馬氏決策過程的起源和發(fā)展
　第2章 有限階段模型
　 2.1 最優(yōu)準則
　 2.2 有限階段的策略迭代和最優(yōu)方程
　 2.3 最優(yōu)策略的存在性和算法
　 2.4 最優(yōu)策略的結(jié)構
　 2.5 單調(diào)策略的最優(yōu)性
　第3章 無限階段折扣模型
　 3.1 最優(yōu)準則
　 3.2 最優(yōu)方程
　 3.3 最優(yōu)策略的存在性
　 3.4 策略迭代算法
　 3.5 值迭代算法
　 3.6 改進的策略迭代算法
　 3.7 線性規(guī)劃算法
　 3.8 最優(yōu)單調(diào)策略
　 3.9 最優(yōu)策略的結(jié)構
　第4章 無限階段平均模型
　 4.1 最優(yōu)準則
　4.2 最優(yōu)平穩(wěn)策略的存在性
　 4.3 平穩(wěn)策略的一些特征
　 4.4 最優(yōu)方程與策略迭代算法
　 4.5 單鏈的線性規(guī)劃與相關問題
　 4.5.1 極限平均頻率
　 4.5.2 帶約束模型問題
　 4.5.3 方差問題
　4.6 多鏈的線性規(guī)劃與相關問題
　 4.6.1 對偶可行解與隨機平穩(wěn)策略
　 4.6.2 基本可行解與確定性決策規(guī)則
　 4.6.3 最優(yōu)解與最優(yōu)策略
　 4.7 平均準則下的Bellman最優(yōu)原則
　第5章 攝動MDP
　 5.1 預備知識
　 5.2 一些基本記號和定義
　 5.3 攝動平均問題的漸進性和極限控制原則
　 5.4 折扣準則的攝動問題
　 5.5 一般的攝動
　 5.6 單攝動極限平均MDP的算法
　 5.6.1 假設與漸進性質(zhì)
　 5.6.2 數(shù)學規(guī)劃和極限馬爾可夫決策問題
　 5.6.3 聚合一分解算法
　5.7 進一步的研究進展
　 5.7.1 折扣權重攝動模型
　 5.7.2 折扣平均權重攝動問題
第二部分 攝動MDP與哈密爾頓圈
　第6章 HC與MDP
　 6.1 哈密爾頓圈問題
　 6.2 有向圖到MDP的嵌入
　 6.3 平穩(wěn)策略的分類
　 6.4 約束折扣MDP與HC
　 6.5 約束折扣MDP的求解
　 6.6 HC與TSP
　第7章 HCP嵌入MDP的攝動
　 7.1 轉(zhuǎn)移概率的攝動
　 7.1.1 轉(zhuǎn)移概率的對稱線性攝動
　 7.1.2 轉(zhuǎn)移概率的非對稱線性攝動
　 7.1.3 轉(zhuǎn)移概率的非對稱二次攝動
　 7.2 攝動下子圖的穩(wěn)態(tài)分布
　 7.3 非對稱線性攝動下的幾個例子
　 7.4 非對稱線性攝動下HC的性質(zhì)
　 7.5 更為精細的分析
　 7.6 開問題和有關猜想
　第8章 頻率空間上的分析
　8.1 長期平均MDP頻率空間中的HCP
　 8.2 二次非對稱攝動與新目標函數(shù)
　 8.3 啟發(fā)式內(nèi)點算法
　 8.3.1 內(nèi)點算法簡介
　 8.3.2 關于(QP)求解的啟發(fā)式算法
　 8.3.3 數(shù)值計算例子
　 8.4 一些開問題及其他
　第9章 雙隨機攝動與HC
　 9.1 基本矩陣
　 9.2 再談雙隨機攝動
　 9.3 漸進表達式
　 9.4 優(yōu)化問題與HC的全局最優(yōu)性
　 9.4.1 非線性規(guī)劃問題
　 9.4.2 方向?qū)?shù)
　 9.4.3 HC既是局部也是全局最小
　 9.5 哈密爾頓間隙
　 9.6 對稱雙隨機矩陣的探討
　 9.7 混合時間及其變化的最小化
　 9.7.1 從不可約鏈到一般的情形
　 9.7.2 跡與對角線上的元素
　 9.7.3 攝動帶來的好處
　 9.7.4 帶有對稱線性攝動的雙隨機矩陣
　第10章 將來的研究方向和結(jié)束語
　 10.1 將來的研究方向
　 10.2 結(jié)束語
參考文獻
索引