強化學習與機器人控制

第I部分 人機交互控制

第1章 介紹 2

1.1 人機交互控制 2

1.2 控制強化學習 5

1.3 本書的結構安排 6

第2章 人機交互的環(huán)境模型 10

2.1 阻抗和導納 10

2.2 人機交互阻抗模型 15

2.3 人機交互模型的識別 18

2.4 本章小結 25

第3章 基于模型的人機交互控制 26

3.1 任務空間阻抗/導納控制 26

3.2 關節(jié)空間阻抗控制 29

3.3 準確性和魯棒性 30

3.4 模擬 33

3.5 本章小結 38

第4章 無模型人機交互控制 39

4.1 使用關節(jié)空間動力學進行任務空間控制 39

4.2 使用任務空間動力學進行任務空間控制 47

4.3 關節(jié)空間控制 48

4.4 模擬 49

4.5 實驗 55

4.6 本章小結 65

第5章 基于歐拉角的回路控制 67

5.1 引言 67

5.2 關節(jié)空間控制 68

5.3 任務空間控制 74

5.4 實驗 77

5.5 本章小結 89

第II部分 機器人交互控制的強化學習

第6章 機器人位置/力控制的強化學習 92

6.1 引言 92

6.2 使用阻抗模型的位置/力控制 93

6.3 基于強化學習的位置/力控制 96

6.4 模擬和實驗 104

6.5 本章小結 110

第7章 用于力控制的連續(xù)時間強化學習 111

7.1 引言 111

7.2 用于強化學習的K均值聚類 112

7.3 使用強化學習的位置/力控制 116

7.4 實驗 123

7.5 本章小結 129

第8章 使用強化學習在最壞情況下的不確定性機器人控制 130

8.1 引言 130

8.2 使用離散時間強化學習的魯棒控制 131

8.3 具有k個最近鄰的雙Q學習 135

8.4 使用連續(xù)時間強化學習的魯棒控制 142

8.5 模擬和實驗：離散時間情況 146

8.6 模擬和實驗：連續(xù)時間情況 154

8.7 本章小結 162

第9章 使用多智能體強化學習的冗余機器人控制 163

9.1 引言 163

9.2 冗余機器人控制 164

9.3 冗余機器人控制的多智能體強化學習 169

9.4 模擬和實驗 174

9.5 本章小結 179

第10章 使用強化學習的機器人 2神經控制 180

10.1 引言 180

10.2 使用離散時間強化學習的 2神經控制 181

10.3 連續(xù)時間的 2神經控制 196

10.4 示例 209

10.5 本章小結 219

第11章 結論 220

附錄A 機器人運動學和動力學 222

附錄B 強化學習控制 235