實感交互：人工智能下的人機(jī)交互技術(shù)

原書序
原書前言
第1章　交互式顯示的感知、理解與自然
人機(jī)界面1
　1.1　引言1
　1.2　人類感知和理解3
　1.3　人機(jī)界面技術(shù)7
　　1.3.1　過往的輸入裝置7
　　1.3.2　觸控式交互技術(shù)9
　　1.3.3　聲控交互10
　　1.3.4　視控交互12
　　1.3.5　多模態(tài)交互15
　1.4　“真實”3D交互顯示探索17
　1.5　結(jié)語19
　參考文獻(xiàn)19
第2章　觸覺感知22
　2.1　引言22
　2.2　觸控技術(shù)簡介23
　　2.2.1　觸摸屏24
　　2.2.2　按大小和應(yīng)用對觸控技術(shù)進(jìn)行分類25
　　2.2.3　按材質(zhì)和結(jié)構(gòu)分類的觸控技術(shù)27
　　2.2.4　按檢測物理量分類的觸控技術(shù)27
　　2.2.5　按感知能力分類的觸控技術(shù)28
　　2.2.6　觸控技術(shù)的未來29
　2.3　觸控技術(shù)的歷史29
　2.4　電容式觸控技術(shù)32
　　2.4.1　投射電容式觸控技術(shù)（編號1） 32
　　2.4.2　表面電容式觸控技術(shù)（編號2） 39
　2.5　電阻式觸控技術(shù)43
　　2.5.1　模擬電阻式觸控技術(shù)（編號3） 43
　　2.5.2　數(shù)字多點電阻式觸控技術(shù)（編號4） 48
　　2.5.3　模擬多點電阻式觸控技術(shù)（編號5） 49
　2.6　聲波觸控技術(shù)51
　　2.6.1　表面聲波觸控技術(shù)（編號6） 51
　　2.6.2　聲學(xué)脈沖識別觸控技術(shù)（編號7） 53
　　2.6.3　色散信號技術(shù)觸控技術(shù)（編號8） 56
　2.7　光學(xué)觸控技術(shù)57
　　2.7.1　傳統(tǒng)紅外線觸控技術(shù)（編號9） 57
　　2.7.2　多點觸控紅外技術(shù)（編號10） 61
　　2.7.3　攝像光學(xué)觸控技術(shù)（編號11） 63
　　2.7.4　玻璃光學(xué)觸控技術(shù)（平面散射檢測）（編號12） 68
　　2.7.5　視覺光學(xué)觸控技術(shù)（編號13） 69
　2.8　嵌入式觸控技術(shù)72
　　2.8.1　外嵌互電容式（編號14） 74
　　2.8.2　混合互電容式（編號15） 74
　　2.8.3　內(nèi)嵌互電容式（編號16） 76
　　2.8.4　內(nèi)嵌式光感（編號17） 77
　2.9　其他觸控技術(shù)79
　　2.9.1　壓力感測（編號18） 79
　　2.9.2　組合觸控技術(shù)81
　2.10　結(jié)語82
　2.11　附錄82
　參考文獻(xiàn)83
第3章　用戶界面中的聲控式交互技術(shù)88
　3.1　引言88
　3.2　語音識別91
　　3.2.1　語言的本質(zhì)91
　　3.2.2　聲學(xué)模型和前端模式92
　　3.2.3　使語音對齊隱馬爾科夫模型（HMM）的過程93
　　3.2.4　語言模型93
　　3.2.5　探索：以每秒1000個單詞完成填字游戲95
　　3.2.6　訓(xùn)練聲學(xué)和語言模型96
　　3.2.7　為特定說話人識別系統(tǒng)調(diào)整發(fā)聲和語音模型96
　　3.2.8　“標(biāo)準(zhǔn)”系統(tǒng)外的其他系統(tǒng)97
　　3.2.9　性能98
　3.3　語音識別的深度神經(jīng)網(wǎng)絡(luò)98
　3.4　硬件優(yōu)化100
　　3.4.1　低電量喚醒運(yùn)算101
　　3.4.2　特定運(yùn)算的硬件優(yōu)化101
　3.5　穩(wěn)健語音識別的信號強(qiáng)化技術(shù)102
　　3.5.1　穩(wěn)健語音識別102
　　3.5.2　單通道噪聲抑制102
　　3.5.3　多通道噪聲抑制104
　　3.5.4　噪聲消除104
　　3.5.5　回音消除104
　　3.5.6　波束形成105
　3.6　聲音生物計量106
　　3.6.1　引言106
　　3.6.2　聲音生物計量面臨的挑戰(zhàn)106
　　3.6.3　聲音生物計量的新研究領(lǐng)域107
　3.7　語音合成107
　3.8　自然語言理解110
　　3.8.1　混合主導(dǎo)對話111
　　3.8.2　預(yù)設(shè)和填值技術(shù)的局限113
　3.9　多輪對話管理116
　3.10　規(guī)劃和推理119
　　3.10.1　技術(shù)挑戰(zhàn)119
　　3.10.2　語義分析和語篇表達(dá)120
　　3.10.3　語用學(xué)121
　　3.10.4　對話管理協(xié)作122
　　3.10.5　規(guī)劃和再規(guī)劃122
　　3.10.6　知識呈現(xiàn)與推理123
　　3.10.7　監(jiān)控123
　　3.10.8　推薦閱讀文獻(xiàn)124
　3.11　問題解答124
　　3.11.1　問題分析125
　　3.11.2　尋找相關(guān)信息125
　　3.11.3　解答與依據(jù)126
　　3.11.4　呈現(xiàn)答案126
　3.12　分布式語音交互架構(gòu)126
　　3.12.1　分布式用戶界面127
　　3.12.2　分布的語音及語言技術(shù)128
　3.13　結(jié)語129
　參考文獻(xiàn)130
第4章　視覺傳感與肢體動作交互技術(shù)136
　4.1　引言136
　4.2　圖像技術(shù)：2D和3D 137
　4.3　姿勢交互140
　4.4　結(jié)語146
　參考文獻(xiàn)147
第5章　實時3D傳感與結(jié)構(gòu)光技術(shù)149
　5.1　引言149
　5.2　結(jié)構(gòu)化圖案匯編150
　　5.2.1　2D偽隨機(jī)匯編151
　　5.2.2　二進(jìn)制結(jié)構(gòu)化匯編152
　　5.2.3　多進(jìn)制匯編153
　　5.2.4　連續(xù)正弦相位匯編154
　5.3　結(jié)構(gòu)光系統(tǒng)校準(zhǔn)157
　5.4　數(shù)字條紋投射（DFP）技術(shù)下的3D傳感示例160
　5.5　實時3D傳感技術(shù)162
　　5.5.1　數(shù)字光處理（DLP）技術(shù)的原理162
　　5.5.2　實時3D數(shù)據(jù)采集164
　　5.5.3　實時3D數(shù)據(jù)處理與可視化165
　　5.5.4　實時3D傳感實例166
　5.6　人機(jī)交互應(yīng)用的實時3D傳感166
　　5.6.1　實時3D面部表情捕捉及其人機(jī)交互的意義167
　　5.6.2　實時3D身體部分姿勢捕捉及其人機(jī)交互的意義167
　　5.6.3　人機(jī)交互意義的總結(jié)168
　5.7　最新發(fā)展169
　　5.7.1　實時3D傳感與自然2D彩色紋理捕捉169
　　5.7.2　超高速3D傳感171
　5.8　結(jié)語173
　參考文獻(xiàn)173
第6章　實時立體3D成像技術(shù)178
　6.1　引言178
　6.2　背景179
　6.3　立體匹配算法的結(jié)構(gòu)181
　　6.3.1　匹配成本計算182
　　6.3.2　匹配成本聚合183
　6.4　特征分類184
　　6.4.1　深度估計密度184
　　6.4.2　優(yōu)化策略185
　6.5　實施平臺的分類186
　　6.5.1　僅用CPU的方法187
　　6.5.2　GPU提速的方法187
　　6.5.3　硬件執(zhí)行（FPGA，ASIC）　188
　6.6　結(jié)語190
　參考文獻(xiàn)190
第7章　飛行時間法3D成像技術(shù)194
　7.1　引言194
　7.2　飛行時間法3D傳感194
　7.3　脈沖飛行時間法196
　7.4　持續(xù)飛行時間法196
　7.5　計算方法197
　7.6　精度199
　7.7　局限性與改進(jìn)200
　　7.7.1　時差測距的挑戰(zhàn)200
　　7.7.2　理論局限200
　　7.7.3　距離混疊201
　　7.7.4　多徑與散射202
　　7.7.5　功率分配與優(yōu)化202
　7.8　飛行時間法攝像組件203
　7.9　標(biāo)準(zhǔn)值203
　　7.9.1　光的功率范圍203
　　7.9.2　背景光205
　7.10　技術(shù)發(fā)展最新水平206
　7.11　結(jié)語207
　參考文獻(xiàn)207
第8章　凝視跟蹤208
　8.1　引言和研究動機(jī)208
　8.2　眼睛210
　8.3　眼動儀212
　　8.3.1　眼動儀的種類212
　　8.3.2　角膜反射法214
　8.4　反對和障礙216
　　8.4.1　人為方面216
　　8.4.2　室外應(yīng)用217
　　8.4.3　校準(zhǔn)217
　　8.4.4　精度217
　　8.4.5　點石成金（MidasTouch）問題218
　8.5　凝視交互研究218
　8.6　凝視指向219
　　8.6.1　解決點石成金問題219
　　8.6.2　精度問題的對策220
　　8.6.3　鼠標(biāo)指向和凝視指向?qū)Ρ?21
　　8.6.4　鼠標(biāo)和凝視協(xié)調(diào)222
　　8.6.5　凝視指向反饋224
　8.7　凝視姿勢224
　　8.7.1　凝視姿勢的概念224
　　8.7.2　姿勢檢測算法225
　　8.7.3　執(zhí)行凝視姿勢的人類能力226
　　8.7.4　凝視姿勢字母表226
　　8.7.5　姿勢從自然眼動中分離227
　　8.7.6　凝視姿勢的應(yīng)用228
　8.8　作為情境的凝視229
　　8.8.1　活動識別229
　　8.8.2　閱讀檢測231
　　8.8.3　注意力檢測232
　　8.8.4　應(yīng)用凝視情境233
　8.9　展望233
　參考文獻(xiàn)234
第9章　感知用戶界面的多模態(tài)輸入237
　9.1　引言237
　9.2　多模態(tài)交互類型237
　9.3　多模態(tài)界面238
　　9.3.1　觸控輸入238
　　9.3.2　3D姿勢245
　　9.3.3　眼動跟蹤和凝視249
　　9.3.4　面部表情250
　　9.3.5　腦機(jī)接口251
　9.4　多模態(tài)集成策略252
　　9.4.1　框架式集成253
　　9.4.2　合并式集成254
　　9.4.3　程序性集成254
　　9.4.4　符號/統(tǒng)計集成254
　9.5　多模態(tài)交互的可用性問題255
　9.6　結(jié)語256
　參考文獻(xiàn)257
第10章　生物計量學(xué)中的多模態(tài)交互：技術(shù)與可用性挑戰(zhàn)262
　10.1　引言262
　　10.1.1　身份確認(rèn)動機(jī)262
　　10.1.2　生物計量學(xué)263
　　10.1.3　多模態(tài)生物計量學(xué)的應(yīng)用特征263
　　10.1.4　2D和3D人臉識別264
　　10.1.5　多模態(tài)案例研究266
　　10.1.6　適應(yīng)于盲人對象267
　　10.1.7　本章結(jié)構(gòu)268
　10.2　對移動生物計量平臺的應(yīng)用剖析268
　　10.2.1　面部分析268
　　10.2.2　語音分析271
　　10.2.3　模型適應(yīng)272
　　10.2.4　數(shù)據(jù)融合273
　　10.2.5　移動平臺實施274
　　10.2.6　MoBio數(shù)據(jù)庫和協(xié)議275
　10.3　案例研究：為視覺缺陷者進(jìn)行可用性研究276
　　10.3.1　頭部姿勢變化對性能的影響276
　　10.3.2　用戶交互模塊：頭部姿勢質(zhì)量評估278
　　10.3.3　用戶－交互模塊：音頻反饋機(jī)制280
　　10.3.4　視覺缺陷者的可用性測試282
　10.4　討論與結(jié)語284
　參考文獻(xiàn)285
第11章　邁向“真實的”3D交互顯示器287
　11.1　引言287
　11.2　生物視覺的起源289
　11.3　光場成像294
　11.4　邁向“真實的”3D視覺顯示300
　11.5　與3D顯示屏上的視覺內(nèi)容交互308
　11.6　結(jié)語310
　參考文獻(xiàn)311
附錄　縮略語313