TensorFlow2強(qiáng)化學(xué)習(xí)手冊

 
第 1 章  使用 TensorFlow 2.x 開發(fā)深度強(qiáng)化學(xué)習(xí)的基本模塊  1
1.1 技術(shù)要求  1
1.2 構(gòu)建訓(xùn)練強(qiáng)化學(xué)習(xí)智能體的環(huán)境和獎勵機(jī)制  1
1.2.1 前期準(zhǔn)備  2
1.2.2 實(shí)現(xiàn)步驟  2
1.2.3 工作原理  8
1.3 針對離散動作空間和離散決策問題實(shí)現(xiàn)基于神經(jīng)網(wǎng)絡(luò)的強(qiáng)化學(xué)習(xí)策略    8
1.3.1 前期準(zhǔn)備  9
1.3.2 實(shí)現(xiàn)步驟  9
1.3.3 工作原理   13
1.4 針對連續(xù)動作空間和連續(xù)控制問題實(shí)現(xiàn)基于神經(jīng)網(wǎng)絡(luò)的強(qiáng)化學(xué)習(xí)策略  13
1.4.1 前期準(zhǔn)備   14
1.4.2 實(shí)現(xiàn)步驟   14
1.4.3 工作原理   19
1.5 將 OpenAI Gym 作為強(qiáng)化學(xué)習(xí)的訓(xùn)練環(huán)境  20
1.5.1 前期準(zhǔn)備   20
1.5.2 實(shí)現(xiàn)步驟   20
1.5.3 工作原理   22
1.6 構(gòu)建神經(jīng)網(wǎng)絡(luò)智能體  22
1.6.1 前期準(zhǔn)備   23
1.6.2 實(shí)現(xiàn)步驟   23
1.6.3 工作原理   26
1.7 構(gòu)建神經(jīng)網(wǎng)絡(luò)進(jìn)化智能體    27
1.7.1 前期準(zhǔn)備   27
1.7.2 實(shí)現(xiàn)步驟   27
1.7.3 工作原理   34
1.8 參考資料    34
第 2 章  基于價值、策略和行動者-評論家的深度強(qiáng)化學(xué)習(xí)算法實(shí)現(xiàn). 35
2.1 技術(shù)要求    35
2.2 構(gòu)建用于訓(xùn)練強(qiáng)化學(xué)習(xí)智能體的隨機(jī)環(huán)境   35
2.2.1 前期準(zhǔn)備   36
2.2.2 實(shí)現(xiàn)步驟   37
2.2.3 工作原理   42
2.3 構(gòu)建基于價值的強(qiáng)化學(xué)習(xí)智能體算法  42
2.3.1 前期準(zhǔn)備   43
2.3.2 實(shí)現(xiàn)步驟   43
2.3.3 工作原理   46
2.4 實(shí)現(xiàn)時序差分學(xué)習(xí)  47
2.4.1 前期準(zhǔn)備   47
2.4.2 實(shí)現(xiàn)步驟   48
2.4.3 工作原理   52
2.5 構(gòu)建強(qiáng)化學(xué)習(xí)中的蒙特卡洛預(yù)測和控制算法    53
2.5.1 前期準(zhǔn)備   54
2.5.2 實(shí)現(xiàn)步驟   54
2.5.3 工作原理   58
2.6 實(shí)現(xiàn) SARSA 算法和對應(yīng)的強(qiáng)化學(xué)習(xí)智能體    59
2.6.1 前期準(zhǔn)備   59
2.6.2 實(shí)現(xiàn)步驟   59
2.6.3 工作原理   61
2.7 構(gòu)建基于 Q 學(xué)習(xí)的智能體  62
2.7.1 前期準(zhǔn)備   62
2.7.2 實(shí)現(xiàn)步驟   63
2.7.3 工作原理   64
2.8 實(shí)現(xiàn)策略梯度    65
2.8.1 前期準(zhǔn)備   65
2.8.2 實(shí)現(xiàn)步驟   66
2.8.3 工作原理   70
2.9 實(shí)現(xiàn)行動者-評論家算法    70
2.9.1 前期準(zhǔn)備   70
2.9.2 實(shí)現(xiàn)步驟   71
2.9.3 工作原理   74
第 3 章  高級強(qiáng)化學(xué)習(xí)算法的實(shí)現(xiàn)    75
3.1 技術(shù)要求    75
3.2 實(shí)現(xiàn) Deep Q 學(xué)習(xí)算法、DQN 和 Double-DQN 智能體  75
3.2.1 前期準(zhǔn)備   76
3.2.2 實(shí)現(xiàn)步驟   76
3.2.3 工作原理   81
3.3 實(shí)現(xiàn) Dueling DQN 智能體  81
3.3.1 前期準(zhǔn)備   81
3.3.2 實(shí)現(xiàn)步驟   82
3.3.3 工作原理   86
3.4 實(shí)現(xiàn) Dueling Double DQN 算法和 DDDQN 智能體    86
3.4.1 前期準(zhǔn)備   87
3.4.2 實(shí)現(xiàn)步驟   87
3.4.3 工作原理   91
3.5 實(shí)現(xiàn)深度遞歸 Q 學(xué)習(xí)算法和 DRQN 智能體    91
3.5.1 前期準(zhǔn)備   91
3.5.2 實(shí)現(xiàn)步驟   92
3.5.3 工作原理   96
3.6 實(shí)現(xiàn)異步優(yōu)勢行動者-評論家算法和 A3C 智能體    96
3.6.1 前期準(zhǔn)備   96
3.6.2 實(shí)現(xiàn)步驟   97
3.6.3 工作原理   104
3.7 實(shí)現(xiàn)近端策略優(yōu)化算法和 PPO 智能體    104
3.7.1 前期準(zhǔn)備   104
3.7.2 實(shí)現(xiàn)步驟   105
3.7.3 工作原理   112
3.8 實(shí)現(xiàn)深度確定性策略梯度算法和 DDPG 智能體  112
3.8.1 前期準(zhǔn)備   112
3.8.2 實(shí)現(xiàn)步驟   113
3.8.3 工作原理   119
第 4 章  現(xiàn)實(shí)世界中的強(qiáng)化學(xué)習(xí)——構(gòu)建加密貨幣交易智能體  120
4.1 技術(shù)要求  120
4.2 使用真實(shí)市場數(shù)據(jù)搭建一個比特幣交易強(qiáng)化學(xué)習(xí)平臺    120
4.2.1 前期準(zhǔn)備   121
4.2.2 實(shí)現(xiàn)步驟   121
4.2.3 工作原理   127
4.3 使用價格圖表搭建一個以太坊交易強(qiáng)化學(xué)習(xí)平臺   128
4.3.1 前期準(zhǔn)備   128
4.3.2 實(shí)現(xiàn)步驟   129
4.3.3 工作原理   135
4.4 為強(qiáng)化學(xué)習(xí)智能體搭建一個高級的加密貨幣交易平臺    135
4.4.1 前期準(zhǔn)備   135
4.4.2 實(shí)現(xiàn)步驟   136
4.4.3 工作原理   140
4.5 使用強(qiáng)化學(xué)習(xí)訓(xùn)練一個加密貨幣交易智能體  141
4.5.1 前期準(zhǔn)備   141
4.5.2 實(shí)現(xiàn)步驟   141
4.5.3 工作原理   153
第 5 章  現(xiàn)實(shí)世界中的強(qiáng)化學(xué)習(xí)——建立股票/股份交易智能體    154
5.1 技術(shù)要求  154
5.2 使用真實(shí)的證券交易所數(shù)據(jù)搭建一個股票市場交易強(qiáng)化學(xué)習(xí)平臺 155
5.2.1 前期準(zhǔn)備   155
5.2.2 實(shí)現(xiàn)步驟   155
5.2.3 工作原理   159
5.3 使用價格圖表搭建一個股票市場交易強(qiáng)化學(xué)習(xí)平臺    159
5.3.1 前期準(zhǔn)備   160
5.3.2 實(shí)現(xiàn)步驟   160
5.3.3 工作原理   165
5.4 搭建一個高級的股票交易強(qiáng)化學(xué)習(xí)平臺以訓(xùn)練智能體模仿專業(yè)交易員    165
5.4.1 前期準(zhǔn)備   165
5.4.2 實(shí)現(xiàn)步驟   166
5.4.3 工作原理   171
第 6 章  現(xiàn)實(shí)世界中的強(qiáng)化學(xué)習(xí)——構(gòu)建智能體來完成您的待辦事項(xiàng)    173
6.1 技術(shù)要求  173
6.2 為現(xiàn)實(shí)世界的強(qiáng)化學(xué)習(xí)搭建學(xué)習(xí)環(huán)境    174
6.2.1 前期準(zhǔn)備   174
6.2.2 實(shí)現(xiàn)步驟   174
6.2.3 工作原理   181
6.3 構(gòu)建一個強(qiáng)化學(xué)習(xí)智能體來完成網(wǎng)絡(luò)上的任務(wù)——行動號召  181
6.3.1 前期準(zhǔn)備   182
6.3.2 實(shí)現(xiàn)步驟   182
6.3.3 工作原理   192
6.4 構(gòu)建一個用于可視化頁面的自動登錄機(jī)器人  193
6.4.1 前期準(zhǔn)備   194
6.4.2 實(shí)現(xiàn)步驟   194
6.4.3 工作原理   202
6.5 訓(xùn)練一個強(qiáng)化學(xué)習(xí)智能體來自動為您的行程預(yù)訂航班    203
6.5.1 前期準(zhǔn)備   203
6.5.2 實(shí)現(xiàn)步驟   204
6.5.3 工作原理   211
6.6 訓(xùn)練一個強(qiáng)化學(xué)習(xí)智能體來管理您的電子郵件  212
6.6.1 前期準(zhǔn)備   212
6.6.2 實(shí)現(xiàn)步驟   213
6.6.3 工作原理   217
6.7 訓(xùn)練一個強(qiáng)化學(xué)習(xí)智能體來自動管理您的社交媒體賬戶    218
6.7.1 前期準(zhǔn)備   218
6.7.2 實(shí)現(xiàn)步驟   219
6.7.3 工作原理   226
第 7 章  在云端部署深度強(qiáng)化學(xué)習(xí)智能體    228
7.1 技術(shù)要求  228
7.2 實(shí)現(xiàn)強(qiáng)化學(xué)習(xí)智能體的運(yùn)行組件   228
7.2.1 前期準(zhǔn)備   229
7.2.2 實(shí)現(xiàn)步驟   229
7.2.3 工作原理   234
7.3 建立強(qiáng)化學(xué)習(xí)環(huán)境模擬器的服務(wù)   234
7.3.1 前期準(zhǔn)備   235
7.3.2 實(shí)現(xiàn)步驟   235
7.3.3 工作原理   241
7.4 使用遠(yuǎn)程模擬服務(wù)器訓(xùn)練強(qiáng)化學(xué)習(xí)智能體  242
7.4.1 前期準(zhǔn)備   242
7.4.2 實(shí)現(xiàn)步驟   242
7.4.3 工作原理   246
7.5 測試/評估強(qiáng)化學(xué)習(xí)智能體    246
7.5.1 前期準(zhǔn)備   247
7.5.2 實(shí)現(xiàn)步驟   247
7.5.3 工作原理   250
7.6 組裝強(qiáng)化學(xué)習(xí)智能體進(jìn)行部署——一個交易機(jī)器人    250
7.6.1 前期準(zhǔn)備   251
7.6.2 實(shí)現(xiàn)步驟   251
7.6.3 工作原理   256
7.7 將強(qiáng)化學(xué)習(xí)智能體部署到云端——交易機(jī)器人即服務(wù)    256
7.7.1 前期準(zhǔn)備   257
7.7.2 實(shí)現(xiàn)步驟   257
7.7.3 工作原理   259
第 8 章  使用分布式訓(xùn)練加速深度強(qiáng)化學(xué)習(xí)智能體開發(fā)    261
8.1 技術(shù)要求  261
8.2 使用 TensorFlow 2.x 的分布式深度學(xué)習(xí)模型——多 GPU 訓(xùn)練   261
8.2.1 前期準(zhǔn)備   262
8.2.2 實(shí)現(xiàn)步驟   262
8.2.3 工作原理   268
8.3 縱向擴(kuò)展與橫向擴(kuò)展——多機(jī)、多 GPU 訓(xùn)練  268
8.3.1 前期準(zhǔn)備   269
8.3.2 實(shí)現(xiàn)步驟   269
8.3.3 工作原理   272
8.4 大規(guī)模訓(xùn)練深度強(qiáng)化學(xué)習(xí)智能體——多 GPU PPO 智能體  272
8.4.1 前期準(zhǔn)備   272
8.4.2 實(shí)現(xiàn)步驟   272
8.4.3 工作原理   284
8.5 為加速訓(xùn)練的分布式深度強(qiáng)化學(xué)習(xí)的基礎(chǔ)模塊  284
8.5.1 前期準(zhǔn)備   284
8.5.2 實(shí)現(xiàn)步驟   285
8.5.3 工作原理   290
8.6 使用 Ray、Tune 和 RLLib 進(jìn)行大規(guī)模的深度強(qiáng)化學(xué)習(xí)智能體訓(xùn)練    291
8.6.1 前期準(zhǔn)備   291
8.6.2 實(shí)現(xiàn)步驟   291
8.6.3 工作原理   296
第 9 章  深度強(qiáng)化學(xué)習(xí)智能體的多平臺部署  297
9.1 技術(shù)要求  297
9.2 使用 TensorFlow Lite 組裝用于移動和物聯(lián)網(wǎng)設(shè)備的深度強(qiáng)化學(xué)習(xí)智能體    297
9.2.1 前期準(zhǔn)備   298
9.2.2 實(shí)現(xiàn)步驟   298
9.2.3 工作原理   303
9.3 在移動設(shè)備上部署強(qiáng)化學(xué)習(xí)智能體    304
9.3.1 前期準(zhǔn)備   305
9.3.2 實(shí)現(xiàn)步驟   306
9.3.3 工作原理   313
9.4 使用 TensorFlow.js 為 Web 和 Node.js 組裝深度強(qiáng)化學(xué)習(xí)智能體    313
9.4.1 前期準(zhǔn)備   313
9.4.2 實(shí)現(xiàn)步驟   314
9.4.3 工作原理   318
9.5 將深度強(qiáng)化學(xué)習(xí)智能體部署為服務(wù)    318
9.5.1 前期準(zhǔn)備   319
9.5.2 實(shí)現(xiàn)步驟   319
9.5.3 工作原理   323
9.6 為跨平臺部署組裝深度強(qiáng)化學(xué)習(xí)智能體   323
9.6.1 前期準(zhǔn)備   323
9.6.2 實(shí)現(xiàn)步驟   324
9.6.3 工作原理   330