強化學(xué)習(xí)：前沿算法與應(yīng)用

序言
前言
第1章 強化學(xué)習(xí)簡介/
1.1從監(jiān)督學(xué)習(xí)到強化學(xué)習(xí)/
1.2強化學(xué)習(xí)的發(fā)展歷史/
1.3強化學(xué)習(xí)的研究范疇/
1.4強化學(xué)習(xí)的應(yīng)用領(lǐng)域/
第2章 強化學(xué)習(xí)基礎(chǔ)知識/
2.1強化學(xué)習(xí)的核心概念/
2.2馬爾可夫性和決策過程/
2.3值函數(shù)和策略學(xué)習(xí)/
第3章 基于值函數(shù)的強化學(xué)習(xí)算法/
3.1深度Q學(xué)習(xí)的基本理論/
3.1.1深度Q網(wǎng)絡(luò)/
3.1.2經(jīng)驗池/
3.1.3目標(biāo)網(wǎng)絡(luò)/
3.2深度Q學(xué)習(xí)的過估計/
3.2.1過估計的產(chǎn)生原因/
3.2.2Double Q-學(xué)習(xí)/
3.3深度Q學(xué)習(xí)的網(wǎng)絡(luò)改進(jìn)和高效采樣/
3.3.1Dueling網(wǎng)絡(luò)/
3.3.2高效采樣/
3.4周期后序迭代Q學(xué)習(xí)/
3.5Q學(xué)習(xí)用于連續(xù)動作空間/
3.5.1基于并行結(jié)構(gòu)的 Q學(xué)習(xí)/
3.5.2基于順序結(jié)構(gòu)的Q學(xué)習(xí)/
3.6實例：使用值函數(shù)學(xué)習(xí)的Atari游戲/
3.6.1環(huán)境預(yù)處理/
3.6.2Q網(wǎng)絡(luò)的實現(xiàn)/
3.6.3Q學(xué)習(xí)的核心步驟/
第4章 策略梯度迭代的強化學(xué)習(xí)算法/
4.1REINFORCE 策略梯度/
4.1.1策略梯度的基本形式/
4.1.2降低策略梯度的方差/
4.2異步策略梯度法/
4.2.1引入優(yōu)勢函數(shù)/
4.2.2異步策略梯度/
4.3近端策略優(yōu)化法/
4.3.1裁剪的優(yōu)化目標(biāo)/
4.3.2自適應(yīng)的優(yōu)化目標(biāo)/
4.4深度確定性策略梯度/
4.4.1critic學(xué)習(xí)/
4.4.2actor學(xué)習(xí)/
4.4.3拓展1：探索噪聲/
4.4.4拓展2：孿生DDPG/
4.5最大熵策略梯度/
4.5.1熵約束的基本原理/
4.5.2SAC算法/
4.6實例：使用策略梯度的Mujoco任務(wù)/
4.6.1actor-critic網(wǎng)絡(luò)實現(xiàn)/
4.6.2核心算法實現(xiàn)/
第5章 基于模型的強化學(xué)習(xí)方法/
5.1如何使用模型來進(jìn)行強化學(xué)習(xí)/
5.2基于模型預(yù)測的規(guī)劃/
5.2.1隨機打靶法/
5.2.2集成概率軌跡采樣法/
5.2.3基于模型和無模型的混合算法/
5.2.4基于想象力的隱式規(guī)劃方法/
5.3黑盒模型的理論框架/
5.3.1隨機下界優(yōu)化算法/
5.3.2基于模型的策略優(yōu)化算法/
5.4白盒模型的使用/
5.4.1隨機值梯度算法/
5.4.2模型增強的actor-critic算法/
5.5實例：AlphaGo圍棋智能體/
5.5.1網(wǎng)絡(luò)結(jié)構(gòu)介紹/
5.5.2蒙特卡羅樹搜索/
5.5.3總體訓(xùn)練流程/
第6章 值分布式強化學(xué)習(xí)算法/
6.1離散分布投影的值分布式算法/
6.2分位數(shù)回歸的值分布式算法/
6.2.1分位數(shù)回歸/
6.2.2Wasserstein距離/
6.2.3QR-DQN算法/
6.2.4單調(diào)的分位數(shù)學(xué)習(xí)算法/
6.3隱式的值分布網(wǎng)絡(luò)/
6.4基于值分布的代價敏感學(xué)習(xí)/
6.4.1IQN中的代價敏感學(xué)習(xí)/
6.4.2基于IQN的actor-critic模型的代價敏感學(xué)習(xí)/
6.5實例：基于值分布的Q網(wǎng)絡(luò)實現(xiàn)/
6.5.1IQN模型構(gòu)建/
6.5.2IQN損失函數(shù)/
第7章 強化學(xué)習(xí)中的探索算法/
7.1探索算法的分類/
7.2基于不確定性估計的探索/
7.2.1參數(shù)化后驗的算法思路/
7.2.2重采樣DQN/
7.3進(jìn)行虛擬計數(shù)的探索/
7.3.1基于圖像生成模型的虛擬計數(shù)/
7.3.2基于哈希的虛擬計數(shù)/
7.4根據(jù)環(huán)境模型的探索/
7.4.1特征表示的學(xué)習(xí)/
7.4.2隨機網(wǎng)絡(luò)蒸餾/
7.4.3Never-Give-Up算法/
7.5實例：蒙特祖瑪復(fù)仇任務(wù)的探索/
7.5.1RND網(wǎng)絡(luò)結(jié)構(gòu)/
7.5.2RND的訓(xùn)練/
7.5.3RND用于探索/
第8章 多目標(biāo)強化學(xué)習(xí)算法/
8.1以目標(biāo)為條件的價值函數(shù)/
8.1.1最大熵HER/
8.1.2動態(tài)目標(biāo)HER/
8.2監(jiān)督式的多目標(biāo)學(xué)習(xí)/
8.2.1Hindsight模仿學(xué)習(xí)/
8.2.2加權(quán)監(jiān)督式多目標(biāo)學(xué)習(xí)/
8.3推廣的多目標(biāo)學(xué)習(xí)/
8.4實例：仿真機械臂的多目標(biāo)抓取/
8.4.1多目標(biāo)實驗環(huán)境/
8.4.2HER的實現(xiàn)方法/
8.4.3MEP的算法實現(xiàn)/
第9章 層次化強化學(xué)習(xí)算法/
9.1層次化學(xué)習(xí)的重要性/
9.2基于子目標(biāo)的層次化學(xué)習(xí)/
9.2.1封建網(wǎng)絡(luò)的層次化學(xué)習(xí)/
9.2.2離策略修正的層次化學(xué)習(xí)/
9.2.3虛擬子目標(biāo)的強化學(xué)習(xí)方法/
9.3基于技能的層次化學(xué)習(xí)/
9.3.1使用隨機網(wǎng)絡(luò)的層次化學(xué)習(xí)/
9.3.2共享分層的元學(xué)習(xí)方法/
9.4基于選項的層次化學(xué)習(xí)/
9.4.1option與半馬爾可夫決策過程/
9.4.2option-critic結(jié)構(gòu)/
9.5實例：層次化學(xué)習(xí)螞蟻走迷宮任務(wù)/
第10章 基于技能的強化學(xué)習(xí)算法/
10.1技能學(xué)習(xí)的定義/
10.2互信息最大化的技能學(xué)習(xí)算法/
10.2.1多樣性最大化技能學(xué)習(xí)算法/
10.2.2其他基于互信息的技能學(xué)習(xí)方法/
10.3融合環(huán)境模型的技能學(xué)習(xí)算法/
10.4最大化狀態(tài)覆蓋的技能學(xué)習(xí)算法/
10.5實例：人形機器人的技能學(xué)習(xí)/
第11章 離線強化學(xué)習(xí)算法/
11.1離線強化學(xué)習(xí)中面臨的困難/
11.2策略約束的離線學(xué)習(xí)/
11.2.1BCQ算法/
11.2.2BRAC算法/
11.2.3TD3-BC算法/
11.3使用保守估計的離線學(xué)習(xí)/
11.4基于不確定性的離線學(xué)習(xí)/
11.4.1UWAC算法/
11.4.2MOPO算法/
11.4.3PBRL算法/
11.5監(jiān)督式的離線學(xué)習(xí)/
11.5.1DT算法/
11.5.2RVS算法/
11.6實例：使用離線學(xué)習(xí)的D4RL任務(wù)集/
11.6.1D4RL數(shù)據(jù)集的使用/
11.6.2CQL算法實現(xiàn)/
11.6.3TD3-BC算法實現(xiàn)/
第12章 元強化學(xué)習(xí)算法/
12.1元強化學(xué)習(xí)的定義/
12.2基于網(wǎng)絡(luò)模型的元強化學(xué)習(xí)方法/
12.2.1使用循環(huán)神經(jīng)網(wǎng)絡(luò)的元強化學(xué)習(xí)方法/
12.2.2基于時序卷積和軟注意力機制的方法/
12.3元梯度學(xué)習(xí)/
12.4元強化學(xué)習(xí)中的探索方法/
12.4.1結(jié)構(gòu)化噪聲探索方法/
12.4.2利用后驗采樣進(jìn)行探索/
12.5實例：元學(xué)習(xí)訓(xùn)練多任務(wù)獵豹智能體/
第13章 高效的強化學(xué)習(xí)表示算法/
13.1為什么要進(jìn)行表示學(xué)習(xí)/
13.2對比學(xué)習(xí)的特征表示/
13.2.1基本原理和SimCLR算法/
13.2.2MoCo 算法/
13.2.3基于對比學(xué)習(xí)的 CURL算法/
13.2.4基于對比學(xué)習(xí)的 ATC算法/
13.2.5基于對比學(xué)習(xí)的 DIM算法/
13.2.6對比學(xué)習(xí)和互信息理論/
13.2.7完全基于圖像增廣的方法/
13.3魯棒的特征表示學(xué)習(xí)/
13.3.1互模擬特征/
13.3.2信息瓶頸特征/
13.4使用模型預(yù)測的表示學(xué)習(xí)/
13.5實例：魯棒的仿真自動駕駛/
第14章 強化學(xué)習(xí)在智能控制中的應(yīng)用/
14.1機器人控制/
14.1.1機械臂操作任務(wù)的控制/
14.1.2足式機器人的運動控制/
14.1.3多任務(wù)機器人控制/
14.1.4面臨的挑戰(zhàn)/
14.2電力優(yōu)化控制/
14.2.1電力管理任務(wù)/
14.2.2需求響應(yīng)/
14.3交通指揮優(yōu)化控制/
14.3.1多信號燈合作控制/
14.3.2大規(guī)模信號燈控制方法/
14.3.3元強化學(xué)習(xí)信號燈控制/
第15章 強化學(xué)習(xí)在機器視覺中的應(yīng)用/
15.1神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索/
15.1.1利用強化學(xué)習(xí)解決NAS/
15.1.2其他前沿方法/
15.2目標(biāo)檢測和跟蹤中的優(yōu)化/
15.2.1強化學(xué)習(xí)與目標(biāo)檢測/
15.2.2強化學(xué)習(xí)與實時目標(biāo)跟蹤/
15.3視頻分析/
第16章 強化學(xué)習(xí)在語言處理中的應(yīng)用/
16.1知識圖譜系統(tǒng)/
16.2智能問答系統(tǒng)/
16.2.1事后目標(biāo)回放法/
16.2.2多任務(wù)對話系統(tǒng)/
16.3機器翻譯系統(tǒng)/
16.3.1NMT中獎勵的計算/
16.3.2策略梯度方差處理/
第17章 強化學(xué)習(xí)在其他領(lǐng)域中的應(yīng)用/
17.1醫(yī)療健康系統(tǒng)/
17.1.1動態(tài)治療方案/
17.1.2重癥監(jiān)護(hù)/
17.1.3自動醫(yī)療診斷/
17.2個性化推薦系統(tǒng)/
17.2.1策略優(yōu)化方法/
17.2.2基于圖的對話推薦/
17.3股票交易系統(tǒng)/
17.3.1FinRL強化學(xué)習(xí)框架/
17.3.2FinRL訓(xùn)練示例/