深度強(qiáng)化學(xué)習(xí)實(shí)戰(zhàn)

定　價(jià)：￥119.80

作　者：	（美）亞歷山大·扎伊，（美）布蘭登·布朗著
出版社：	人民郵電出版社
叢編項(xiàng)：
標(biāo)　簽：	暫缺

購(gòu)買這本書可以去

當(dāng)當(dāng)網(wǎng) (￥94.88)

ISBN：	9787115576361	出版時(shí)間：	2023-04-01	包裝：	平裝
開本：		頁(yè)數(shù)：		字?jǐn)?shù)：

內(nèi)容簡(jiǎn)介

　　本書先介紹深度強(qiáng)化學(xué)習(xí)的基礎(chǔ)知識(shí)及相關(guān)算法，然后給出多個(gè)實(shí)戰(zhàn)項(xiàng)目，以期讓讀者可以根據(jù)環(huán)境的直接反饋對(duì)智能體加以調(diào)整和改進(jìn)，提升運(yùn)用深度強(qiáng)化學(xué)習(xí)技術(shù)解決實(shí)際問(wèn)題的能力。本書涵蓋深度Q網(wǎng)絡(luò)、策略梯度法、演員-評(píng)論家算法、進(jìn)化算法、Dist-DQN、多智能體強(qiáng)化學(xué)習(xí)、可解釋性強(qiáng)化學(xué)習(xí)等內(nèi)容。本書給出的實(shí)戰(zhàn)項(xiàng)目緊跟深度強(qiáng)化學(xué)習(xí)技術(shù)的發(fā)展趨勢(shì)，且所有項(xiàng)目示例以Jupter Notebook樣式給出，便于讀者修改代碼、觀察結(jié)果并及時(shí)獲取經(jīng)驗(yàn)，能夠帶給讀者交互式的學(xué)習(xí)體驗(yàn)。本書適合有一定深度學(xué)習(xí)和機(jī)器學(xué)習(xí)基礎(chǔ)并對(duì)強(qiáng)化學(xué)習(xí)感興趣的讀者閱讀。

作者簡(jiǎn)介

　　Alexander Zai曾擔(dān)任Codesmith（一個(gè)沉浸式的編碼訓(xùn)練營(yíng)）首席技術(shù)官和技術(shù)顧問(wèn)、Uber 軟件工程師、Bonjo和AmazonAI機(jī)器學(xué)習(xí)工程師，他也是開源深度學(xué)習(xí)框架Apache MXNet的貢獻(xiàn)者。此外，他還是兩家公司的聯(lián)合創(chuàng)立人，其中一家曾是Y-combinator的參與者。 Brandon Brown從很小的時(shí)候就開始編程，大學(xué)期間做過(guò)兼職軟件工程師，但最終選擇投身醫(yī)療行業(yè)（在此期間，他在醫(yī)療保健科技領(lǐng)域擔(dān)任軟件工程師）。受深度強(qiáng)化學(xué)習(xí)的啟發(fā)，他近期專注于計(jì)算精神病學(xué)的研究。

圖書目錄

第一部分　基礎(chǔ)篇

第 1章什么是強(qiáng)化學(xué)習(xí) 3

1.1 深度強(qiáng)化學(xué)習(xí)中的“深度” 4

1.2 強(qiáng)化學(xué)習(xí) 5

1.3 動(dòng)態(tài)規(guī)劃與蒙特卡洛 7

1.4 強(qiáng)化學(xué)習(xí)框架 9

1.5 強(qiáng)化學(xué)習(xí)可以做什么 12

1.6 為什么是深度強(qiáng)化學(xué)習(xí) 14

1.7 教學(xué)工具：線圖 15

1.8 后續(xù)內(nèi)容概述 17

小結(jié) 18

第 2章強(qiáng)化學(xué)習(xí)問(wèn)題建模：馬爾可夫決策過(guò)程 19

2.1 線圖與本書的教學(xué)方法 19

2.2 解決多臂老虎機(jī)問(wèn)題 22

2.2.1 探索與利用 23

2.2.2 貪婪策略 24

2.2.3 Softmax選擇策略 29

2.3 應(yīng)用老虎機(jī)算法優(yōu)化廣告投放 31

2.3.1 上下文老虎機(jī) 31

2.3.2 狀態(tài)、動(dòng)作和獎(jiǎng)勵(lì) 32

2.4 利用PyTorch構(gòu)建網(wǎng)絡(luò) 33

2.4.1 自動(dòng)微分 33

2.4.2 構(gòu)建模型 34

2.5 解決上下文老虎機(jī)問(wèn)題 35

2.6 馬爾可夫性質(zhì) 39

2.7 預(yù)測(cè)未來(lái)獎(jiǎng)勵(lì)：價(jià)值和策略函數(shù) 41

2.7.1 策略函數(shù) 42

2.7.2 最優(yōu)策略 43

2.7.3 價(jià)值函數(shù) 43

小結(jié) 44

第3章預(yù)測(cè)最佳狀態(tài)和動(dòng)作：深度Q網(wǎng)絡(luò) 46

3.1 Q函數(shù) 46

3.2 Q-learning導(dǎo)航 47

3.2.1 Q-learning是什么 48

3.2.2 應(yīng)用于Gridworld游戲 49

3.2.3 超參數(shù) 50

3.2.4 貼現(xiàn)因子 50

3.2.5 構(gòu)建網(wǎng)絡(luò) 52

3.2.6 介紹Gridworld游戲引擎 53

3.2.7 構(gòu)建Q函數(shù)的神經(jīng)網(wǎng)絡(luò) 55

3.3 防止災(zāi)難性遺忘：經(jīng)驗(yàn)回放 64

3.3.1 災(zāi)難性遺忘 64

3.3.2 經(jīng)驗(yàn)回放 65

3.4 利用目標(biāo)網(wǎng)絡(luò)提高穩(wěn)定性 69

學(xué)習(xí)的不穩(wěn)定性 70

3.5 回顧 74

小結(jié) 76

第4章學(xué)習(xí)選擇最佳策略：策略梯度法 77

4.1 使用神經(jīng)網(wǎng)絡(luò)的策略函數(shù) 77

4.1.1 神經(jīng)網(wǎng)絡(luò)作為策略函數(shù) 78

4.1.2 隨機(jī)策略梯度 78

4.1.3 探索 80

4.2 強(qiáng)化良好動(dòng)作：策略梯度算法 81

4.2.1 定義目標(biāo) 81

4.2.2 強(qiáng)化動(dòng)作 82

4.2.3 對(duì)數(shù)概率 84

4.2.4 信用分配 84

4.3 與OpenAI Gym配合 85

4.3.1 CartPole 87

4.3.2 OpenAI Gym API 87

4.4 REINFORCE算法 88

4.4.1 創(chuàng)建策略網(wǎng)絡(luò) 88

4.4.2 使智能體與環(huán)境交互 89

4.4.3 訓(xùn)練模型 89

4.4.4 完整訓(xùn)練循環(huán) 91

4.4.5 所得到的結(jié)論 93

小結(jié) 93

第5章利用演員-評(píng)論家算法解決更復(fù)雜的問(wèn)題 94

5.1 重構(gòu)價(jià)值-策略函數(shù) 95

5.2 分布式訓(xùn)練 99

5.3 演員-評(píng)論家優(yōu)勢(shì)算法 104

5.4 N-step演員-評(píng)論家算法 112

小結(jié) 116

第二部分進(jìn)階篇

第6章可替代的優(yōu)化方法：進(jìn)化算法 119

6.1 另一種強(qiáng)化學(xué)習(xí)方法 119

6.2 具有進(jìn)化策略的強(qiáng)化學(xué)習(xí) 121

6.2.1 進(jìn)化理論 121

6.2.2 進(jìn)化實(shí)踐 123

6.3 CartPole的遺傳算法 128

6.4 進(jìn)化算法的優(yōu)缺點(diǎn) 134

6.4.1 進(jìn)化算法探索更多 134

6.4.2 進(jìn)化算法令人難以置信的樣本密集性 134

6.4.3 模擬器 135

6.5 進(jìn)化算法作為一種可擴(kuò)展的替代方案 135

6.5.1 擴(kuò)展的進(jìn)化算法 135

6.5.2 并行與串行處理 137

6.5.3 擴(kuò)展效率 138

6.5.4 節(jié)點(diǎn)間通信 138

6.5.5 線性擴(kuò)展 140

6.5.6 擴(kuò)展基于梯度的算法 140

小結(jié) 141

第7章 Dist-DQN：獲取完整故事 142

7.1 Q-learning存在的問(wèn)題 143

7.2 再論概率統(tǒng)計(jì) 147

7.2.1 先驗(yàn)和后驗(yàn) 148

7.2.2 期望和方差 149

7.3 貝爾曼方程 153

分布式貝爾曼方程 153

7.4 分布式Q-learning 154

7.4.1 使用Python表示概率分布 154

7.4.2 實(shí)現(xiàn)Dist-DQN 162

7.5 比較概率分布 164

7.6 模擬數(shù)據(jù)上的Dist-DQN 167

7.7 使用分布式Q-learning玩Freeway 172

小結(jié) 177

第8章好奇心驅(qū)動(dòng)的探索 178

8.1 利用預(yù)測(cè)編碼處理稀疏獎(jiǎng)勵(lì) 179

8.2 反向動(dòng)態(tài)預(yù)測(cè) 182

8.3 搭建《超級(jí)馬里奧兄弟》環(huán)境 184

8.4 預(yù)處理和Q網(wǎng)絡(luò) 186

8.5 創(chuàng)建Q網(wǎng)絡(luò)和策略函數(shù) 188

8.6 內(nèi)在好奇心模塊 191

8.7 可替代的內(nèi)在獎(jiǎng)勵(lì)機(jī)制 203

小結(jié) 205

第9章多智能體強(qiáng)化學(xué)習(xí) 206

9.1 從單個(gè)到多個(gè)智能體 206

9.2 鄰域Q-learning 210

9.3 一維伊辛模型 213

9.4 平均場(chǎng)Q-learning和二維伊辛模型 221

9.5 混合合作競(jìng)技游戲 230

小結(jié) 239

第 10章強(qiáng)化學(xué)習(xí)可解釋性：注意力和關(guān)系模型 241

10.1 帶注意力和關(guān)系偏差的機(jī)器學(xué)習(xí)可解釋性 242

不變性和等變性 243

10.2 利用注意力進(jìn)行關(guān)系推理 244

10.2.1 注意力模型 245

10.2.2 關(guān)系推理 246

10.2.3 自注意力模型 251

10.3 對(duì)MNIST實(shí)現(xiàn) 自注意力 253

10.3.1 轉(zhuǎn)換的MNIST 254

10.3.2 關(guān)系模塊 255

10.3.3 張量縮并和愛因斯坦標(biāo)記法 258

10.3.4 訓(xùn)練關(guān)系模塊 261

10.4 多頭注意力和關(guān)系DQN 264

10.5 雙Q-learning 270

10.6 訓(xùn)練和注意力可視化 271

10.6.1 最大熵學(xué)習(xí) 275

10.6.2 課程學(xué)習(xí) 275

10.6.3 可視化注意力權(quán)重 276

小結(jié) 278

第 11章總結(jié)：回顧和路線圖 280

11.1 我們學(xué)到了什么 280

11.2 深度強(qiáng)化學(xué)習(xí)中的未知課題 282

11.2.1 優(yōu)先經(jīng)驗(yàn)回放 282

11.2.2 近端策略優(yōu)化 282

11.2.3 分層強(qiáng)化學(xué)習(xí)和 options框架 283

11.2.4 基于模型的規(guī)劃 283

11.2.5 蒙特卡洛樹搜索 284

全書結(jié)語(yǔ) 284

附錄A 數(shù)學(xué)、深度學(xué)習(xí)和

PyTorch 285

A.1 線性代數(shù) 285

A.2 微積分 287

A.3 深度學(xué)習(xí) 290

A.4 PyTorch 291

參考資料 295