強化學習：前沿算法與應用

序言
前言
第1章 強化學習簡介/
1.1從監(jiān)督學習到強化學習/
1.2強化學習的發(fā)展歷史/
1.3強化學習的研究范疇/
1.4強化學習的應用領域/
第2章 強化學習基礎知識/
2.1強化學習的核心概念/
2.2馬爾可夫性和決策過程/
2.3值函數(shù)和策略學習/
第3章 基于值函數(shù)的強化學習算法/
3.1深度Q學習的基本理論/
3.1.1深度Q網(wǎng)絡/
3.1.2經(jīng)驗池/
3.1.3目標網(wǎng)絡/
3.2深度Q學習的過估計/
3.2.1過估計的產(chǎn)生原因/
3.2.2Double Q-學習/
3.3深度Q學習的網(wǎng)絡改進和高效采樣/
3.3.1Dueling網(wǎng)絡/
3.3.2高效采樣/
3.4周期后序迭代Q學習/
3.5Q學習用于連續(xù)動作空間/
3.5.1基于并行結構的 Q學習/
3.5.2基于順序結構的Q學習/
3.6實例：使用值函數(shù)學習的Atari游戲/
3.6.1環(huán)境預處理/
3.6.2Q網(wǎng)絡的實現(xiàn)/
3.6.3Q學習的核心步驟/
第4章 策略梯度迭代的強化學習算法/
4.1REINFORCE 策略梯度/
4.1.1策略梯度的基本形式/
4.1.2降低策略梯度的方差/
4.2異步策略梯度法/
4.2.1引入優(yōu)勢函數(shù)/
4.2.2異步策略梯度/
4.3近端策略優(yōu)化法/
4.3.1裁剪的優(yōu)化目標/
4.3.2自適應的優(yōu)化目標/
4.4深度確定性策略梯度/
4.4.1critic學習/
4.4.2actor學習/
4.4.3拓展1：探索噪聲/
4.4.4拓展2：孿生DDPG/
4.5最大熵策略梯度/
4.5.1熵約束的基本原理/
4.5.2SAC算法/
4.6實例：使用策略梯度的Mujoco任務/
4.6.1actor-critic網(wǎng)絡實現(xiàn)/
4.6.2核心算法實現(xiàn)/
第5章 基于模型的強化學習方法/
5.1如何使用模型來進行強化學習/
5.2基于模型預測的規(guī)劃/
5.2.1隨機打靶法/
5.2.2集成概率軌跡采樣法/
5.2.3基于模型和無模型的混合算法/
5.2.4基于想象力的隱式規(guī)劃方法/
5.3黑盒模型的理論框架/
5.3.1隨機下界優(yōu)化算法/
5.3.2基于模型的策略優(yōu)化算法/
5.4白盒模型的使用/
5.4.1隨機值梯度算法/
5.4.2模型增強的actor-critic算法/
5.5實例：AlphaGo圍棋智能體/
5.5.1網(wǎng)絡結構介紹/
5.5.2蒙特卡羅樹搜索/
5.5.3總體訓練流程/
第6章 值分布式強化學習算法/
6.1離散分布投影的值分布式算法/
6.2分位數(shù)回歸的值分布式算法/
6.2.1分位數(shù)回歸/
6.2.2Wasserstein距離/
6.2.3QR-DQN算法/
6.2.4單調的分位數(shù)學習算法/
6.3隱式的值分布網(wǎng)絡/
6.4基于值分布的代價敏感學習/
6.4.1IQN中的代價敏感學習/
6.4.2基于IQN的actor-critic模型的代價敏感學習/
6.5實例：基于值分布的Q網(wǎng)絡實現(xiàn)/
6.5.1IQN模型構建/
6.5.2IQN損失函數(shù)/
第7章 強化學習中的探索算法/
7.1探索算法的分類/
7.2基于不確定性估計的探索/
7.2.1參數(shù)化后驗的算法思路/
7.2.2重采樣DQN/
7.3進行虛擬計數(shù)的探索/
7.3.1基于圖像生成模型的虛擬計數(shù)/
7.3.2基于哈希的虛擬計數(shù)/
7.4根據(jù)環(huán)境模型的探索/
7.4.1特征表示的學習/
7.4.2隨機網(wǎng)絡蒸餾/
7.4.3Never-Give-Up算法/
7.5實例：蒙特祖瑪復仇任務的探索/
7.5.1RND網(wǎng)絡結構/
7.5.2RND的訓練/
7.5.3RND用于探索/
第8章 多目標強化學習算法/
8.1以目標為條件的價值函數(shù)/
8.1.1最大熵HER/
8.1.2動態(tài)目標HER/
8.2監(jiān)督式的多目標學習/
8.2.1Hindsight模仿學習/
8.2.2加權監(jiān)督式多目標學習/
8.3推廣的多目標學習/
8.4實例：仿真機械臂的多目標抓取/
8.4.1多目標實驗環(huán)境/
8.4.2HER的實現(xiàn)方法/
8.4.3MEP的算法實現(xiàn)/
第9章 層次化強化學習算法/
9.1層次化學習的重要性/
9.2基于子目標的層次化學習/
9.2.1封建網(wǎng)絡的層次化學習/
9.2.2離策略修正的層次化學習/
9.2.3虛擬子目標的強化學習方法/
9.3基于技能的層次化學習/
9.3.1使用隨機網(wǎng)絡的層次化學習/
9.3.2共享分層的元學習方法/
9.4基于選項的層次化學習/
9.4.1option與半馬爾可夫決策過程/
9.4.2option-critic結構/
9.5實例：層次化學習螞蟻走迷宮任務/
第10章 基于技能的強化學習算法/
10.1技能學習的定義/
10.2互信息最大化的技能學習算法/
10.2.1多樣性最大化技能學習算法/
10.2.2其他基于互信息的技能學習方法/
10.3融合環(huán)境模型的技能學習算法/
10.4最大化狀態(tài)覆蓋的技能學習算法/
10.5實例：人形機器人的技能學習/
第11章 離線強化學習算法/
11.1離線強化學習中面臨的困難/
11.2策略約束的離線學習/
11.2.1BCQ算法/
11.2.2BRAC算法/
11.2.3TD3-BC算法/
11.3使用保守估計的離線學習/
11.4基于不確定性的離線學習/
11.4.1UWAC算法/
11.4.2MOPO算法/
11.4.3PBRL算法/
11.5監(jiān)督式的離線學習/
11.5.1DT算法/
11.5.2RVS算法/
11.6實例：使用離線學習的D4RL任務集/
11.6.1D4RL數(shù)據(jù)集的使用/
11.6.2CQL算法實現(xiàn)/
11.6.3TD3-BC算法實現(xiàn)/
第12章 元強化學習算法/
12.1元強化學習的定義/
12.2基于網(wǎng)絡模型的元強化學習方法/
12.2.1使用循環(huán)神經(jīng)網(wǎng)絡的元強化學習方法/
12.2.2基于時序卷積和軟注意力機制的方法/
12.3元梯度學習/
12.4元強化學習中的探索方法/
12.4.1結構化噪聲探索方法/
12.4.2利用后驗采樣進行探索/
12.5實例：元學習訓練多任務獵豹智能體/
第13章 高效的強化學習表示算法/
13.1為什么要進行表示學習/
13.2對比學習的特征表示/
13.2.1基本原理和SimCLR算法/
13.2.2MoCo 算法/
13.2.3基于對比學習的 CURL算法/
13.2.4基于對比學習的 ATC算法/
13.2.5基于對比學習的 DIM算法/
13.2.6對比學習和互信息理論/
13.2.7完全基于圖像增廣的方法/
13.3魯棒的特征表示學習/
13.3.1互模擬特征/
13.3.2信息瓶頸特征/
13.4使用模型預測的表示學習/
13.5實例：魯棒的仿真自動駕駛/
第14章 強化學習在智能控制中的應用/
14.1機器人控制/
14.1.1機械臂操作任務的控制/
14.1.2足式機器人的運動控制/
14.1.3多任務機器人控制/
14.1.4面臨的挑戰(zhàn)/
14.2電力優(yōu)化控制/
14.2.1電力管理任務/
14.2.2需求響應/
14.3交通指揮優(yōu)化控制/
14.3.1多信號燈合作控制/
14.3.2大規(guī)模信號燈控制方法/
14.3.3元強化學習信號燈控制/
第15章 強化學習在機器視覺中的應用/
15.1神經(jīng)網(wǎng)絡結構搜索/
15.1.1利用強化學習解決NAS/
15.1.2其他前沿方法/
15.2目標檢測和跟蹤中的優(yōu)化/
15.2.1強化學習與目標檢測/
15.2.2強化學習與實時目標跟蹤/
15.3視頻分析/
第16章 強化學習在語言處理中的應用/
16.1知識圖譜系統(tǒng)/
16.2智能問答系統(tǒng)/
16.2.1事后目標回放法/
16.2.2多任務對話系統(tǒng)/
16.3機器翻譯系統(tǒng)/
16.3.1NMT中獎勵的計算/
16.3.2策略梯度方差處理/
第17章 強化學習在其他領域中的應用/
17.1醫(yī)療健康系統(tǒng)/
17.1.1動態(tài)治療方案/
17.1.2重癥監(jiān)護/
17.1.3自動醫(yī)療診斷/
17.2個性化推薦系統(tǒng)/
17.2.1策略優(yōu)化方法/
17.2.2基于圖的對話推薦/
17.3股票交易系統(tǒng)/
17.3.1FinRL強化學習框架/
17.3.2FinRL訓練示例/