決策用強(qiáng)化與系統(tǒng)性機(jī)器學(xué)習(xí)

譯者序
原書前言
原書致謝
關(guān)于作者
第1章強(qiáng)化與系統(tǒng)性機(jī)器學(xué)習(xí)1
1.1簡(jiǎn)介1
1.2監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)1
1.3傳統(tǒng)機(jī)器學(xué)習(xí)方法和機(jī)器學(xué)習(xí)發(fā)展歷史3
1.4什么是機(jī)器學(xué)習(xí)？6
1.5機(jī)器學(xué)習(xí)問(wèn)題6
1.5.1學(xué)習(xí)的目標(biāo)6
1.6學(xué)習(xí)模式7
1.7機(jī)器學(xué)習(xí)技術(shù)和范例9
1.8什么是強(qiáng)化學(xué)習(xí)？11
1.9強(qiáng)化函數(shù)和環(huán)境函數(shù)12
1.10強(qiáng)化學(xué)習(xí)的需求13
1.11強(qiáng)化學(xué)習(xí)和機(jī)器智能14
1.12什么是系統(tǒng)學(xué)習(xí)？14
1.13什么是系統(tǒng)性機(jī)器學(xué)習(xí)？15
1.14系統(tǒng)性機(jī)器學(xué)習(xí)的重點(diǎn)15
1.15強(qiáng)化性機(jī)器學(xué)習(xí)和系統(tǒng)性機(jī)器學(xué)習(xí)16
1.16車輛檢測(cè)問(wèn)題的案例研究16
1.17小結(jié)16
參考文獻(xiàn)17
第2章全系統(tǒng)原理、系統(tǒng)性和多視角的機(jī)器學(xué)習(xí)18
2.1簡(jiǎn)介18
2.1.1什么是系統(tǒng)性學(xué)習(xí)？19
2.1.2歷史20
2.2什么是系統(tǒng)性機(jī)器學(xué)習(xí)？21
2.2.1基于事件的學(xué)習(xí)21
2.3廣義系統(tǒng)性機(jī)器學(xué)習(xí)框架23
2.3.1系統(tǒng)定義24
2.4多視角決策和多視角學(xué)習(xí)26
2.4.1基于完整信息的表示32
2.4.2基于部分信息的表示32
2.4.3單視角決策方案圖32
2.4.4雙重視角決策方案圖32
2.4.5多視角決策方案圖32
2.4.6定性信念網(wǎng)絡(luò)和影響圖33
2.5動(dòng)態(tài)和交互式?jīng)Q策33
2.5.1交互決策圖33
2.5.2決策圖和影響圖中時(shí)間的角色34
2.5.3系統(tǒng)性視角的建立34
2.5.4信息整合35
2.5.5建立典型決策方案圖35
2.5.6受限信息35
2.5.7多決策者系統(tǒng)在系統(tǒng)性學(xué)習(xí)中的角色35
2.6系統(tǒng)性學(xué)習(xí)框架39
2.6.1數(shù)學(xué)模型39
2.6.2系統(tǒng)性學(xué)習(xí)的方法39
2.6.3自適應(yīng)系統(tǒng)性學(xué)習(xí)40
2.6.4系統(tǒng)性學(xué)習(xí)框架41
2.7系統(tǒng)分析41
2.8案例學(xué)習(xí)：在酒店行業(yè)中需要系統(tǒng)性學(xué)習(xí)43
2.9小結(jié)44
參考文獻(xiàn)44
第3章強(qiáng)化學(xué)習(xí)45
3.1簡(jiǎn)介45
3.2學(xué)習(xí)決策者48
3.3回報(bào)和獎(jiǎng)勵(lì)的計(jì)算50
3.3.1方案和連續(xù)任務(wù)50
3.4強(qiáng)化學(xué)習(xí)和自適應(yīng)控制51
3.5動(dòng)態(tài)系統(tǒng)54
3.5.1離散事件動(dòng)態(tài)系統(tǒng)54
3.6強(qiáng)化學(xué)習(xí)和控制55
3.7馬爾科夫性質(zhì)和決策過(guò)程55
3.8價(jià)值函數(shù)56
3.8.1行動(dòng)和價(jià)值56
3.9學(xué)習(xí)最優(yōu)策略（有模型和無(wú)模型法）57
3.10動(dòng)態(tài)規(guī)劃57
3.10.1動(dòng)態(tài)系統(tǒng)性質(zhì)57
3.11自適應(yīng)動(dòng)態(tài)規(guī)則58
3.11.1時(shí)間差分學(xué)習(xí)59
3.11.2Q學(xué)習(xí)60
3.11.3統(tǒng)一的視圖60
3.12范例——拳擊訓(xùn)練器的強(qiáng)化學(xué)習(xí)61
3.13小結(jié)61
參考文獻(xiàn)61
第4章系統(tǒng)性機(jī)器學(xué)習(xí)和模型62
4.1簡(jiǎn)介62
4.2系統(tǒng)學(xué)習(xí)的框架63
4.2.1影響空間64
4.2.2交互作用為中心的模型69
4.2.3以結(jié)果為中心的模型69
4.3捕捉系統(tǒng)視圖70
4.4系統(tǒng)交互的數(shù)學(xué)表達(dá)73
4.5影響函數(shù)74
4.6決策影響分析74
4.6.1時(shí)空界限75
4.7小結(jié)80
第5章推理和信息集成82
5.1簡(jiǎn)介82
5.2推理機(jī)制和需要83
5.2.1情景推理85
5.2.2推理確定影響85
5.3情景和推理的集成88
5.4統(tǒng)計(jì)推理和歸納91
5.4.1直接推理91
5.4.2間接推理91
5.4.3信息推理91
5.4.4歸納92
5.5純似然方法92
5.6貝葉斯范例推理93
5.6.1貝葉斯定理93
5.7基于時(shí)域推理93
5.8推理建立系統(tǒng)觀點(diǎn)94
5.8.1信息集成94
5.9小結(jié)96
參考文獻(xiàn)97
第6章自適應(yīng)學(xué)習(xí)98
6.1簡(jiǎn)介98
6.2自適應(yīng)學(xué)習(xí)和自適應(yīng)系統(tǒng)98
6.3什么是自適應(yīng)機(jī)器學(xué)習(xí)101
6.4基于方案的適應(yīng)性和學(xué)習(xí)方法101
6.4.1動(dòng)態(tài)適應(yīng)性和情景感知的學(xué)習(xí)102
6.5系統(tǒng)學(xué)習(xí)和自適應(yīng)學(xué)習(xí)104
6.5.1多學(xué)習(xí)器的使用105
6.5.2系統(tǒng)自適應(yīng)機(jī)器學(xué)習(xí)108
6.5.3自適應(yīng)應(yīng)用的設(shè)計(jì)110
6.5.4自適應(yīng)學(xué)習(xí)的需要和適應(yīng)的原因111
6.5.5適應(yīng)類型112
6.5.6自適應(yīng)框架114
6.6競(jìng)爭(zhēng)學(xué)習(xí)和自適應(yīng)學(xué)習(xí)115
6.6.1適應(yīng)性函數(shù)116
6.6.2決策網(wǎng)絡(luò)118
6.6.3自適應(yīng)學(xué)習(xí)方案119
6.7范例120
6.7.1案例研究：基于自適應(yīng)學(xué)習(xí)的文本120
6.7.2自適應(yīng)學(xué)習(xí)的文檔挖掘121
6.8小結(jié)122
參考文獻(xiàn)122
第7章多視角和全局系統(tǒng)性的學(xué)習(xí)123
7.1簡(jiǎn)介123
7.2多視角方案構(gòu)建124
7.3多視角決策和多視角學(xué)習(xí)126
7.3.1視角結(jié)合126
7.3.2影響圖和部分方案決策表示圖127
7.3.3表示決策方案圖（RDSD）130
7.3.4范例：部分方案決策表示圖（PDSRD）表示的不同視角獲取的城市信息131
7.4全局系統(tǒng)性學(xué)習(xí)和多視角途徑134
7.4.1分散信息整合135
7.4.2多視角和全局系統(tǒng)知識(shí)表示135
7.4.3什么是多視角方案？135
7.4.4特定方案136
7.5基于多視角途徑的案例研究136
7.5.1交通控制器用多視角途徑137
7.5.2情感檢測(cè)用多視角途徑模型138
7.6多視角方法的局限性143
7.7小結(jié)143
參考文獻(xiàn)144
第8章增量學(xué)習(xí)和知識(shí)表示145
8.1簡(jiǎn)介145
8.2為什么增量學(xué)習(xí)？146
8.3學(xué)習(xí)已經(jīng)學(xué)會(huì)的147
8.3.1絕對(duì)增量學(xué)習(xí)148
8.3.2選擇增量學(xué)習(xí)149
8.4監(jiān)督增量學(xué)習(xí)157
8.5增量無(wú)監(jiān)督學(xué)習(xí)和增量聚類158
8.5.1增量聚類：任務(wù)160
8.5.2增量聚類：方法161
8.5.3閾值161
8.6半監(jiān)督增量學(xué)習(xí)162
8.7增量與系統(tǒng)性學(xué)習(xí)163
8.8增量接近值和學(xué)習(xí)方法164
8.8.1增量學(xué)習(xí)方法1165
8.8.2增量學(xué)習(xí)方法2166
8.8.3計(jì)算C值增量166
8.9學(xué)習(xí)與決策模型169
8.10增量分類技術(shù)169
8.11案例分析：增量文檔分類170
8.12小結(jié)171
第9章知識(shí)增長(zhǎng)：機(jī)器學(xué)習(xí)的視角173
9.1簡(jiǎn)介173
9.2短暫的歷史和相關(guān)工作174
9.3知識(shí)增長(zhǎng)和知識(shí)啟發(fā)178
9.3.1策略使用進(jìn)行知識(shí)啟發(fā)178
9.3.2基于目標(biāo)的知識(shí)啟發(fā)179
9.3.3基于過(guò)程的知識(shí)啟發(fā)179
9.4生命周期180
9.4.1知識(shí)水平181
9.4.2直接知識(shí)181
9.4.3間接知識(shí)182
9.4.4程序知識(shí)182
9.4.5問(wèn)題182
9.4.6決策182
9.4.7知識(shí)生命周期183
9.5增量知識(shí)表達(dá)184
9.6案例學(xué)習(xí)和遺忘學(xué)習(xí)186
9.7知識(shí)的擴(kuò)充：技術(shù)和方法187
9.7.1知識(shí)增量技術(shù)187
9.7.2知識(shí)增量方法188
9.7.3提取知識(shí)的機(jī)制189
9.8啟發(fā)式學(xué)習(xí)190
9.9系統(tǒng)性機(jī)器學(xué)習(xí)和知識(shí)獲取190
9.9.1全方位知識(shí)獲取191
9.9.2系統(tǒng)知識(shí)管理和先進(jìn)的機(jī)器學(xué)習(xí)192
9.10在復(fù)雜環(huán)境下的知識(shí)增量193
9.11案例研究193
9.11.1銀行案例研究193
9.11.2軟件開發(fā)公司194
9.11.3雜貨集市/零售集市195
9.12小結(jié)195
參考文獻(xiàn)196
第10章構(gòu)建學(xué)習(xí)系統(tǒng)197
10.1簡(jiǎn)介197
10.2系統(tǒng)性學(xué)習(xí)系統(tǒng)197
10.2.1學(xué)習(xí)單元199
10.2.2知識(shí)庫(kù)200
10.2.3性能單元200
10.2.4反饋單元200
10.2.5允許測(cè)量的系統(tǒng)200
10.3算法選擇201
10.3.1k近鄰（kNN）201
10.3.2支持向量機(jī)（SVM）202
10.3.3質(zhì)心法202
10.4知識(shí)表示203
10.4.1實(shí)用方案和案例研究203
10.5學(xué)習(xí)系統(tǒng)的設(shè)計(jì)204
10.6讓系統(tǒng)表現(xiàn)得更智能204
10.7案例學(xué)習(xí)205
10.8整體知識(shí)框架和強(qiáng)化學(xué)習(xí)的應(yīng)用205
10.8.1智能算法的選擇207
10.9智能決策——部署和知識(shí)采集以及重用208
10.10基于案例的學(xué)習(xí)：人體情感檢測(cè)系統(tǒng)209
10.11復(fù)雜決策問(wèn)題的整體視角211
10.12知識(shí)表示和資源查找213
10.13組件215
10.13.1范例215
10.14學(xué)習(xí)系統(tǒng)和智能系統(tǒng)的未來(lái)216
10.15小結(jié)217
附錄218
附錄A統(tǒng)計(jì)學(xué)習(xí)方法218
A.1概率218
A.1.1互斥事件218
A.1.2獨(dú)立事件218
A.2貝葉斯分類219
A.2.1樸素貝葉斯分類220
A.2.2貝葉斯分類器的優(yōu)點(diǎn)和缺點(diǎn)221
A.3回歸221
A.3.1線性222
A.3.2非線性222
A.3.3回歸的其他方法222
A.4粗糙集223
A.4.1不可分辨關(guān)系223
A.4.2集近似224
A.4.3邊界區(qū)域224
A.4.4粗糙集和清晰集224
A.4.5約簡(jiǎn)224
A.4.6可有可無(wú)和不可缺少的屬性224
A.5支持向量機(jī)224
參考文獻(xiàn)225
附錄B馬爾科夫過(guò)程225
B.1馬爾科夫過(guò)程225
B.1.1案例226
B.1.2解決步驟226
B.1.3長(zhǎng)期227
B.1.4馬爾科夫過(guò)程示例228
B.2半馬爾科夫過(guò)程231
B.2.1建議231
B.2.2驗(yàn)證232
B.2.3推論232