人機(jī)交互中的體態(tài)語(yǔ)言理解

第1章 以人為中心的人機(jī)交互與體態(tài)語(yǔ)言理解 1
1．1 以人為中心的人機(jī)交互 1
1．1．1 普適計(jì)算和背景智能 3
1．1．2 物理―信息對(duì)偶空間 4
1．1．3 隱式人機(jī)交互和覺(jué)察上下境計(jì)算 11
1．2 非語(yǔ)言行為和體態(tài)語(yǔ)言 16
1．2．1 人際通信中的非語(yǔ)言行為 16
1．2．2 體態(tài)語(yǔ)言傳遞什么樣的信息 19
1．2．3 體態(tài)語(yǔ)言與語(yǔ)言通信的關(guān)系 20
1．2．4 體態(tài)語(yǔ)言的信息集群 21
1．3 非語(yǔ)言通信與社交行為 22
1．3．1 非語(yǔ)言行為線索與社交信號(hào) 24
1．3．2 面對(duì)面的社交行為 26
1．4 社交信息處理和社交智能 27
1．4．1 社交能力與動(dòng)作理解 27
1．4．2 社交信息處理 28
1．4．3 社交智能 30
1．5 以人為中心的人機(jī)交互正在走向現(xiàn)實(shí) 32
1．5．1 “人―機(jī)器人交互” 32
1．5．2 計(jì)算機(jī)為媒介的遠(yuǎn)程交互系統(tǒng) 35
1．5．3 背景智能和智能輔助生活 38
參考文獻(xiàn) 38
第2章 動(dòng)作理解的心理和神經(jīng)機(jī)制基礎(chǔ) 48
2．1 動(dòng)作理解中所涉及的問(wèn)題 49
2．2 共同編碼理論簡(jiǎn)介 54
2．3 動(dòng)作的表示和內(nèi)容 59
2．3．1 動(dòng)作是什么和動(dòng)作的產(chǎn)生 60
2．3．2 運(yùn)動(dòng)想象是進(jìn)入動(dòng)作表示階段的窗口 61
2．3．3 動(dòng)作意圖、規(guī)劃、準(zhǔn)備和執(zhí)行之間的關(guān)系 65
2．3．4 人類(lèi)視覺(jué)系統(tǒng)中的子系統(tǒng) 66
2．3．5 動(dòng)作表示內(nèi)容 67
2．4 鏡面神經(jīng)系統(tǒng)和它在動(dòng)作識(shí)別中的作用 69
2．4．1 猴子和人體中的鏡面神經(jīng)系統(tǒng) 70
2．4．2 鏡面神經(jīng)系統(tǒng)在動(dòng)作識(shí)別和理解中的功能 71
2．5 動(dòng)作的共享表示 75
2．5．1 動(dòng)作表示的不同層次 75
2．5．2 語(yǔ)義表示和實(shí)用表示 76
2．5．3 共享的是感知表示還是運(yùn)動(dòng)表示 77
2．5．4 動(dòng)作表示的方式 78
2．6 人體與物體的交互與可承受性 80
2．6．1 Gibson的可承受性理論 81
2．6．2 可承受性與動(dòng)作理解 83
2．6．3 可承受性和與物體交互 87
2．7 人類(lèi)動(dòng)作理解中的功能機(jī)理和神經(jīng)網(wǎng)絡(luò) 89
2．7．1 視覺(jué)理解理論簡(jiǎn)介 90
2．7．2 對(duì)基于計(jì)算機(jī)視覺(jué)的動(dòng)作理解的啟發(fā) 92
參考文獻(xiàn) 95
第3章 基于覺(jué)察上下境計(jì)算的體態(tài)語(yǔ)言理解 103
3．1 體態(tài)語(yǔ)言理解問(wèn)題的本質(zhì) 104
3．1．1 體態(tài)語(yǔ)言是人類(lèi)的自然行為 104
3．1．2 體態(tài)語(yǔ)言線索、體態(tài)語(yǔ)言信號(hào)和體態(tài)語(yǔ)言 105
3．1．3 體態(tài)語(yǔ)言理解需要覺(jué)察上下境計(jì)算的支持 107
3．2 體態(tài)語(yǔ)言線索檢測(cè) 108
3．3 體態(tài)語(yǔ)言信號(hào)檢測(cè) 110
3．4 上下境和上下境模型 112
3．4．1 上下境信息在體態(tài)語(yǔ)言理解中的作用 112
3．4．2 上下境的定義 113
3．4．3 上下境模型 116
3．5 覺(jué)察上下境計(jì)算與系統(tǒng) 119
3．5．1 覺(jué)察上下境系統(tǒng)組成 121
3．5．2 覺(jué)察上下境系統(tǒng)的應(yīng)用和性能 124
3．5．3 人體行為理解的研究現(xiàn)狀和存在問(wèn)題 125
3．6 視覺(jué)信息處理中上下境的影響 128
3．6．1 人類(lèi)視覺(jué)系統(tǒng)中上下境影響的研究 129
3．6．2 基于上下境的計(jì)算機(jī)視覺(jué)處理 132
3．6．3 覺(jué)察上下境的計(jì)算機(jī)視覺(jué)處理 137
3．7 基于覺(jué)察上下境計(jì)算的體態(tài)語(yǔ)言理解 139
3．7．1 基于動(dòng)態(tài)上下文模型的群體交互行為分析 139
3．7．2 基于覺(jué)察上下境計(jì)算的人體日常活動(dòng)識(shí)別和理解 142
3．7．3 支持覺(jué)察上下境計(jì)算的分布式多模態(tài)信息處理系統(tǒng) 145
參考文獻(xiàn) 146
第4章 基于廣義彈性運(yùn)動(dòng)跟蹤的人體運(yùn)動(dòng)分析 155
4．1 研究現(xiàn)狀 157
4．1．1 彈性運(yùn)動(dòng)跟蹤的研究現(xiàn)狀以及本章研究思路的提出 157
4．1．2 與廣義彈性運(yùn)動(dòng)跟蹤相關(guān)的研究工作 158
4．2 基礎(chǔ)彈性運(yùn)動(dòng)模型 159
4．2．1 彈性運(yùn)動(dòng)的纖維束表示 159
4．2．2 基于纖維束的融合思路 160
4．2．3 混合的變換隱馬爾科夫模型（MTHMM） 161
4．2．4 模型的推理算法 165
4．2．5 實(shí)驗(yàn)結(jié)果與討論 170
4．2．6 小結(jié) 176
4．3 具有分類(lèi)機(jī)制的彈性運(yùn)動(dòng)模型 177
4．3．1 彈性運(yùn)動(dòng)的分段纖維束表示以及分類(lèi)機(jī)制的思路 177
4．3．2 具有分類(lèi)機(jī)制的混合變換隱馬爾科夫模型（MTHMM-C） 179
4．3．3 模型的推理算法 181
4．3．4 實(shí)驗(yàn)結(jié)果與討論 187
4．3．5 小結(jié) 193
4．4 廣義彈性運(yùn)動(dòng)跟蹤的應(yīng)用 194
4．4．1 （半）自動(dòng)建模 194
4．4．2 人頭姿態(tài)估計(jì) 195
4．4．3 基于廣義彈性運(yùn)動(dòng)跟蹤的運(yùn)動(dòng)描述 196
參考文獻(xiàn) 198
第5章 人體定位與體態(tài)估計(jì) 201
5．1 基于多攝像機(jī)的人體粗定位 202
5．1．1 多攝像機(jī)環(huán)境下的幾何約束 203
5．1．2 多攝像機(jī)人體定位算法 205
5．1．3 實(shí)驗(yàn)結(jié)果 207
5．1．4 小結(jié) 211
5．2 多攝像機(jī)下人體頭肩部輪廓跟蹤與朝向估計(jì) 212
5．2．1 多視角輪廓約束 213
5．2．2 頭肩部輪廓的形狀表示和概率模型 215
5．2．3 多視角聯(lián)合跟蹤模型 224
5．2．4 度量表示與圖像度量模型 229
5．2．6 實(shí)驗(yàn)結(jié)果分析 230
5．2．7 小結(jié) 233
5．3 基于梯度朝向直方圖的頭部姿勢(shì)估計(jì) 234
5．3．1 基于梯度朝向直方圖的二階統(tǒng)計(jì)特征 237
5．3．2 線性子空間方法 238
5．3．3 實(shí)驗(yàn)結(jié)果 239
5．3．4 小結(jié) 248
參考文獻(xiàn) 249
第6章 可容忍視角、位置變化的人體動(dòng)作識(shí)別 251
6．1 基于時(shí)空表示的動(dòng)作識(shí)別研究現(xiàn)狀 251
6．1．1 基于多視角樣本 255
6．1．2 基于不變量表示和不變量約束 256
6．2 容忍視角變化的體態(tài)表示――包容形狀 258
6．2．1 動(dòng)作識(shí)別中的視角變化 258
6．2．2 預(yù)備分析 259
6．2．3 包容形狀的定義和推導(dǎo) 260
6．2．4 動(dòng)作識(shí)別實(shí)驗(yàn) 263
6．2．5 非正交下雙攝像機(jī)配置下的包容形狀 268
6．3 容忍位置變化和遮擋的自適應(yīng)包容形狀 271
6．3．1 容忍位置變化的多攝像機(jī)系統(tǒng) 272
6．3．2 容忍遮擋的自適應(yīng)包容形狀 279
6．4 動(dòng)作識(shí)別系統(tǒng) 284
6．4．1 動(dòng)作識(shí)別系統(tǒng)流程 284
6．4．2 人體檢測(cè)和特征提取 285
6．4．3 體態(tài)表示和數(shù)據(jù)預(yù)處理 286
6．5 結(jié)論和展望 291
參考文獻(xiàn) 292
第7章 日常生活動(dòng)作識(shí)別與行為分析 295
7．1 基于計(jì)算機(jī)視覺(jué)的日常活動(dòng)（ADL）識(shí)別和理解 296
7．1．1 ADL識(shí)別和理解所面臨的技術(shù)挑戰(zhàn) 296
7．1．2 ADL識(shí)別方法研究的現(xiàn)狀 300
7．1．3 基于計(jì)算機(jī)視覺(jué)的ADL識(shí)別的關(guān)鍵課題 305
7．1．4 日常生活行為理解 311
7．1．5 上下境信息的建模和使用 316
7．2 容忍視角和距離變化的動(dòng)作識(shí)別 317
7．2．1 分層的動(dòng)作識(shí)別 318
7．2．2 多視角數(shù)據(jù)庫(kù)IXMAS 319
7．2．3 關(guān)注“焦點(diǎn)運(yùn)動(dòng)”的動(dòng)作識(shí)別 321
7．2．4 特征提取與動(dòng)作表示 323
7．2．5 基于VSI-Surf表示的動(dòng)作識(shí)別方法 332
7．3 支持覺(jué)察上下境計(jì)算的活動(dòng)分析模型 336
7．3．1 日常生活場(chǎng)景中的上下境 338
7．3．2 覺(jué)察上下境的行為分析模型 341
7．4 基于ADL-DBN模型的行為在線推理 347
7．4．1 研究平臺(tái)與應(yīng)用場(chǎng)景 348
7．4．2 底層視覺(jué)特征的提取 350
7．4．3 環(huán)境上下境 353
7．4．4 多層次動(dòng)態(tài)貝葉斯網(wǎng)模型 354
7．4．5 實(shí)驗(yàn)結(jié)果 359
7．5 結(jié)論與展望 364
參考文獻(xiàn) 365
第8章 基于動(dòng)態(tài)上下境模型的群體行為分析 376
8．1 群體交互行為分析的關(guān)鍵問(wèn)題及研究現(xiàn)狀 376
8．1．1 會(huì)議群體動(dòng)作分析中的關(guān)鍵問(wèn)題 377
8．1．2 會(huì)議動(dòng)作自動(dòng)分析的研究現(xiàn)狀 380
8．1．3 基于動(dòng)態(tài)上下境模型的會(huì)議動(dòng)作自動(dòng)分析 382
8．2 面向群體交互行為分析的動(dòng)態(tài)上下境模型 383
8．2．1 群體交互行為分析中的上下境定義 384
8．2．2 動(dòng)態(tài)上下境的分層結(jié)構(gòu) 385
8．2．3 動(dòng)態(tài)上下境的模型的結(jié)構(gòu) 388
8．2．4 動(dòng)態(tài)上下境模型的運(yùn)行機(jī)制 390
8．3 覺(jué)察上下境的多目標(biāo)檢測(cè)與跟蹤算法 391
8．3．1 方法概述 393
8．3．2 人體檢測(cè) 396
8．3．3 人體跟蹤 399
8．3．4 高層上下境推理 402
8．3．5 個(gè)體局部特征檢測(cè) 403
8．3．6 實(shí)驗(yàn)結(jié)果 404
8．4 事件驅(qū)動(dòng)的多層次DBN模型 410
8．4．1 群體交互場(chǎng)景中的事件檢測(cè) 411
8．4．2 事件驅(qū)動(dòng)的多層次DBN模型 412
8．4．3 實(shí)驗(yàn)結(jié)果 420
8．5 基于動(dòng)態(tài)上下境的多層次事件自適應(yīng)檢測(cè)方法 426
8．5．1 群體交互場(chǎng)景中的事件層次與處理粒度 427
8．5．2 多層次事件自適應(yīng)檢測(cè)方法 428
8．5．3 多層次事件自適應(yīng)檢測(cè)方法在會(huì)議分析中的應(yīng)用 433
8．6 小結(jié) 445
參考文獻(xiàn) 446
第9章 支持覺(jué)察上下境計(jì)算的分布式多模態(tài)信息系統(tǒng) 451
9．1 引論 451
9．2 面向應(yīng)用的服務(wù)共享模型（A-SSM） 452
9．2．1 模型總體框架 452
9．2．2 模型組成定義 453
9．2．3 基于本體論的計(jì)算服務(wù)資源管理 455
9．3 基于服務(wù)質(zhì)量（QoS）的計(jì)算服務(wù)資源選擇策略 458
9．3．1 QoS計(jì)算參考公式 458
9．3．2 基于層次分析法（AHP）理論估計(jì)屬性權(quán)重 459
9．3．3 計(jì)算服務(wù)資源選擇算法 460
9．4 適應(yīng)服務(wù)共享模型的覺(jué)察上下境計(jì)算 461
9．4．1 覺(jué)察上下境計(jì)算的“基元” 461
9．4．2 覺(jué)察上下境計(jì)算算法的“基元”化組織 466
9．5 分布式覺(jué)察上下境計(jì)算系統(tǒng)的總體結(jié)構(gòu)設(shè)計(jì) 467
9．6 分布式處理的總體結(jié)構(gòu)設(shè)計(jì) 468
9．6．1 數(shù)據(jù)/信息處理分析 468
9．6．2 服務(wù)進(jìn)程設(shè)計(jì) 469
9．7 通用化平臺(tái)的實(shí)現(xiàn) 471
9．8 日常行為理解與隱式交互實(shí)例研究 473
9．8．1 系統(tǒng)測(cè)試實(shí)驗(yàn) 473
9．8．2 隱式交互實(shí)驗(yàn)環(huán)境及硬件配置 475
9．8．3 實(shí)驗(yàn)數(shù)據(jù)的采集 476
9．8．4 實(shí)驗(yàn)數(shù)據(jù)的標(biāo)注 479
9．8．5 知識(shí)輔助行為推理方法的實(shí)施 480
9．9 小結(jié) 482
參考文獻(xiàn) 483
附錄A 三維圓柱人體模型 486
附錄B 攝像機(jī)偏離引起的包容形狀誤差分析 488