深度強化學習落地指南

第1章 需求分析\t1
1．1 需求分析：勿做DRL鐵錘人\t1
1．2 一問“是不是”\t2
1．2．1 Agent和環(huán)境定義\t2
1．2．2 馬爾可夫決策過程和強化學習\t3
1．3 二問“值不值”\t5
1．3．1 試試規(guī)則和啟發(fā)式搜索\t5
1．3．2 別忘了傳統(tǒng)強化學習\t7
1．3．3 使用DRL的理由\t7
1．4 三問“能不能”\t9
1．4．1 場景固定：兩個分布一致\t9
1．4．2 數(shù)據(jù)廉價：多、快、好、費\t13
1．5 四問“邊界在哪里”\t16
1．6 本章小結\t18
參考文獻\t19
第2章 動作空間設計\t23
2．1 動作空間設計：這里大有可為\t23
2．1．1 被忽視的價值\t23
2．1．2 動作空間的常見類型\t24
2．1．3 動作空間設計的基本原則\t26
2．2 動作空間的完備性\t26
2．2．1 功能完備\t27
2．2．2 時效完備\t29
2．3 動作空間的高效性\t30
2．3．1 化整為零：以精度換效率\t31
2．3．2 有機組合：尺度很重要\t33
2．4 動作空間的合法性\t35
2．4．1 非法動作屏蔽機制\t36
2．4．2 Agent的知情權\t37
2．5 本章小結\t39
參考文獻\t40
第3章 狀態(tài)空間設計\t43
3．1 狀態(tài)空間設計：特征工程的誘惑\t43
3．2 狀態(tài)空間設計的兩種常見誤區(qū)\t44
3．2．1 過分依賴端到端特征學習\t44
3．2．2 極致特征工程\t44
3．3 與動作空間和回報函數(shù)的協(xié)同設計\t45
3．3．1 與動作空間尺度一致\t45
3．3．2 以回報函數(shù)為中心\t46
3．4 狀態(tài)空間設計的四個步驟\t47
3．4．1 任務分析\t47
3．4．2 相關信息篩選\t49
3．4．3 泛化性考量\t53
3．4．4 效果驗證\t58
3．5 本章小結\t61
參考文獻\t62
第4章 回報函數(shù)設計\t64
4．1 回報函數(shù)設計：面向強化學習的編程\t64
4．2 稀疏回報問題\t65
4．2．1 孤獨無援的主線回報\t65
4．2．2 稀疏回報問題的本質(zhì)\t66
4．3 輔助回報\t67
4．3．1 子目標回報\t67
4．3．2 塑形回報\t70
4．3．3 內(nèi)驅(qū)回報\t76
4．3．4 回報取值的注意事項\t77
4．4 回報函數(shù)設計的常見陷阱\t78
4．4．1 魯莽\t79
4．4．2 貪婪\t80
4．4．3 懦弱\t82
4．5 最優(yōu)回報問題\t83
4．6 基于學習的回報函數(shù)\t84
4．6．1 經(jīng)典方法\t84
4．6．2 前沿方法\t85
4．7 本章小結\t87
參考文獻\t88
第5章 算法選擇\t92
5．1 算法選擇：拿來主義和改良主義\t92
5．1．1 DRL算法的發(fā)展脈絡\t92
5．1．2 一篩、二比、三改良\t94
5．1．3 從獨當一面到眾星捧月\t96
5．2 牢記經(jīng)典勿忘本\t97
5．2．1 DQN\t98
5．2．2 DDPG\t99
5．2．3 A3C\t102
5．3 關注SOTA算法別留戀\t105
5．3．1 TD3\t105
5．3．2 SAC\t107
5．3．3 PPO\t110
5．4 其他算法\t112
5．5 本章小結\t113
參考文獻\t113
第6章 訓練調(diào)試\t119
6．1 訓練調(diào)試：此事要躬行\(zhòng)t119
6．2 訓練前的準備工作\t120
6．2．1 制定訓練方案\t120
6．2．2 選擇網(wǎng)絡結構\t124
6．2．3 隨機漫步\t128
6．2．4 數(shù)據(jù)預處理\t129
6．3 訓練進行時\t131
6．3．1 反脆弱：擁抱不確定性\t131
6．3．2 調(diào)節(jié)超參數(shù)\t134
6．3．3 監(jiān)控訓練狀態(tài)\t143
6．4 給初學者的建議\t146
6．5 本章小結\t148
參考文獻\t149
第7章 性能沖刺\t154
7．1 性能沖刺：為DRL注入強心劑\t154
7．2 課程學習\t155
7．2．1 源任務及其分類\t155
7．2．2 應用方式\t157
7．3 額外監(jiān)督信號\t162
7．3．1 有監(jiān)督預訓練\t163
7．3．2 輔助任務\t164
7．4 進化策略\t169
7．4．1 基本原理\t169
7．4．2 關鍵細節(jié)\t170
7．4．3 應用方式\t174
7．5 本章小結\t175
參考文獻\t176