下一代空間計(jì)算：AR與VR創(chuàng)新理論與實(shí)踐（全彩）

序言.xv
前言xvii
第 1 部分　跨越數(shù)字和現(xiàn)實(shí)的設(shè)計(jì)與藝術(shù)
第 1 章　人類與計(jì)算機(jī)的交互3
常用術(shù)語(yǔ) ..3
概述 4
歷代的人機(jī)交互模態(tài) ：20 世紀(jì)之前 ..4
歷代的人機(jī)交互模態(tài) ：第二次世界大戰(zhàn)期間 6
歷代的人機(jī)交互模態(tài) ：第二次世界大戰(zhàn)之后 7
歷代的人機(jī)交互模態(tài) ：個(gè)人計(jì)算機(jī)崛起的時(shí)代 10
歷代的人機(jī)交互模態(tài) ：計(jì)算機(jī)微型化的時(shí)代 . 11
為何要回顧這些歷史 .. 13
常見的 HCI 模式 . 13
新的人機(jī)交互模態(tài) 18
空間計(jì)算設(shè)備的人機(jī)交互模態(tài)現(xiàn)狀 . 19
沉浸式計(jì)算系統(tǒng)當(dāng)前所用的控制器 . 19
身體追蹤技術(shù) 21
關(guān)于手追蹤和手勢(shì)識(shí)別的注記 .. 22
下一代語(yǔ)音輸入、手勢(shì)輸入和硬件輸入 . 22
第 2 章　為感官而設(shè)計(jì)，不要為設(shè)備而設(shè)計(jì). 26
展望未來 26
感知技術(shù)概覽 . 27
我們?yōu)檎l(shuí)打造這樣的未來 . 29
女性在 AI 中扮演的角色 . 32
感官設(shè)計(jì) 33
感官設(shè)計(jì)概述 33
五項(xiàng)感官設(shè)計(jì)原則 35
1. 直覺體驗(yàn)是多感官的 35
2. 3D 將會(huì)觸手可及 .. 36
3. 設(shè)計(jì)要自然而符合物理原理. 37
4. 設(shè)計(jì)無法完全可控 37
5. 釋放空間協(xié)作的力量 38
Adobe 的 AR 故事. 38
結(jié)語(yǔ) . 39
第 2 部分　擴(kuò)展現(xiàn)實(shí)如何改變數(shù)字藝術(shù)
第 3 章　VR 藝術(shù). .43
一種更自然的 3D 藝術(shù)創(chuàng)作方式 43
VR 動(dòng)畫 . 49
第 4 章　3D 藝術(shù)優(yōu)化..52
概述 . 52
建議 53
理想的解決方案 .. 54
拓?fù)浣Y(jié)構(gòu) . 55
烘焙 58
繪制調(diào)用 63
使用 VR 工具進(jìn)行 3D 藝術(shù)創(chuàng)作 63
使用現(xiàn)成的 3D 模型與重新制作 64
結(jié)語(yǔ) . 64
第 3 部分　硬件、SLAM、追蹤
第 5 章　計(jì)算機(jī)視覺如何讓 AR 成為可能67
我們是誰(shuí) 67
AR 簡(jiǎn)史 . 68
為何以及如何選擇 AR 平臺(tái) 70
作為開發(fā)者，我應(yīng)該選擇哪個(gè)平臺(tái)，為何要如此選擇 .. 70
AR 效果具有不確定性 . 70
軟硬件集成. 72
光學(xué)校準(zhǔn) . 73
慣性校準(zhǔn) . 74
追蹤技術(shù)的未來展望 . 76
AR 計(jì)算機(jī)視覺技術(shù)的未來展望 . 78
地圖 . 80
多人 AR 的工作原理 . 84
最具挑戰(zhàn)性的部分 . 85
重定位的工作原理 . 86
AR 中重定位的研究現(xiàn)狀 87
重定位問題會(huì)有消費(fèi)級(jí)的解決方案嗎.. 88
難道谷歌公司或蘋果公司無法給出消費(fèi)級(jí)的解決方案嗎 .. 89
重定位不等于多人 AR . 90
當(dāng)前 App 的重定位實(shí)際是怎么做的 . 91
AR 平臺(tái) . 94
蘋果的 ARKit 94
解密一些謎團(tuán) 95
ARCore 是不是輕量級(jí)的 Tango .. 96
應(yīng)該開始基于 ARCore 構(gòu)建 AR 應(yīng)用嗎 .. 98
Tango、HoloLens、Vuforia 以及其他 AR 平臺(tái) .. 98
其他開發(fā)建議 . 99
光照 99
多人 AR — 到底難在何處 . 100
用戶通過 AR 進(jìn)行社交活動(dòng) 101
AR 應(yīng)用如何連接現(xiàn)實(shí)世界并確定自身位置 .. 101
AR 應(yīng)用如何理解現(xiàn)實(shí)世界的事物并與之連接 . 102
AR 云 103
我所想象的 AR 云 104
AR 云有多重要 . 104
AR 云到底是什么 . 104
為什么媒體對(duì) ARKit 和 ARCore“不感冒” 105
構(gòu)建出色的 AR 應(yīng)用還缺少什么 . 105
今天的移動(dòng)云能否勝任這項(xiàng)工作 . 106
離開 AR 云，ARKit/ARCore 是否毫無用處 .. 106
AR 云的黎明 .. 106
更大的圖景 — 隱私數(shù)據(jù)和 AR 云數(shù)據(jù) .. 108
術(shù)語(yǔ)表 111
第 4 部分　創(chuàng)建跨平臺(tái)的 VR/AR 應(yīng)用
第 6 章　VR/AR 跨平臺(tái)方法論115
為什么需要跨平臺(tái) . 115
游戲引擎的作用 .. 117
理解 3D 圖形 118
虛擬相機(jī) .. 118
自由度 119
游戲設(shè)計(jì)的可移植性教程 .. 121
簡(jiǎn)化控制器的輸入 . 123
開發(fā)步驟 1 ：設(shè)計(jì)基本界面 123
開發(fā)步驟 2 ：平臺(tái)集成 .. 125
總結(jié) .. 128
第 7 章　VRTK ：社區(qū)開源框架..130
什么是 VRTK，為什么大家會(huì)使用 VRTK 130
VRTK 的歷史 131
SteamVR Unity Toolkit 的誕生 131
VRTK v4 . 133
VRTK 的未來 133
VRTK 的成功 134
開始使用 VRTK v4 . 135
第 8 章　三項(xiàng) VR/AR 最佳開發(fā)實(shí)踐..140
VR/AR 開發(fā)的難度大 .. 140
處理移動(dòng) . 141
VR 中的移動(dòng)機(jī)制 . 142
AR 中的移動(dòng)機(jī)制 . 147
有效地利用音效 .. 149
VR 中的音效 .. 150
AR 中的音效 .. 152
常見的交互范式 .. 153
VR 背包系統(tǒng) .. 153
AR 射線檢測(cè) .. 156
結(jié)語(yǔ) .. 158
第 5 部分　增強(qiáng)數(shù)據(jù)表示 ：空間計(jì)算中的數(shù)據(jù)可視化與人工智能
第 9 章　數(shù)據(jù)與機(jī)器學(xué)習(xí)可視化在空間計(jì)算中的開發(fā)與設(shè)計(jì).161
概述 .. 161
理解數(shù)據(jù)的可視化 . 162
空間計(jì)算中數(shù)據(jù)與機(jī)器學(xué)習(xí)的可視化法則 163
為什么數(shù)據(jù)與機(jī)器學(xué)習(xí)的可視化能在空間計(jì)算中發(fā)揮作用 . 164
數(shù)據(jù)可視化設(shè)計(jì)隨著 XR 的出現(xiàn)而發(fā)展 .. 164
在 XR 中呈現(xiàn) 2D 數(shù)據(jù)與 3D 數(shù)據(jù) 166
空間計(jì)算中的 2D 數(shù)據(jù)可視化 VS 3D 數(shù)據(jù)可視化 166
空間計(jì)算中的數(shù)據(jù)可視化交互 167
動(dòng)畫 .. 168
失敗的數(shù)據(jù)可視化設(shè)計(jì) 169
良好的數(shù)據(jù)可視化設(shè)計(jì)能夠優(yōu)化 3D 空間 . 169
“節(jié)省時(shí)間感覺就像一切變得簡(jiǎn)單了” . 170
數(shù)據(jù)表示、信息圖表與交互 . 170
什么是數(shù)據(jù)可視化 .. 171
數(shù)據(jù)可視化與大數(shù)據(jù)或機(jī)器學(xué)習(xí)可視化之間的區(qū)別 171
如何創(chuàng)建數(shù)據(jù)可視化 ：數(shù)據(jù)可視化的構(gòu)建流程 . 172
WebXR ：在 Web 端構(gòu)建數(shù)據(jù)可視化 172
數(shù)據(jù)可視化在 XR 中遭遇的挑戰(zhàn) 173
數(shù)據(jù)可視化的行業(yè)案例 174
3D 重建與直接操作真實(shí)數(shù)據(jù) ：XR 中的解剖結(jié)構(gòu) 176
近距離了解 Glass Brain. 176
TVA Surg 醫(yī)學(xué)成像 VR 模塊 .. 177
人人都能做數(shù)據(jù)可視化 ：XR 中的開源數(shù)據(jù)可視化 . 177
生物大分子數(shù)據(jù)的可視化 179
實(shí)踐教程 ：如何在空間計(jì)算中創(chuàng)建數(shù)據(jù)可視化 . 179
如何創(chuàng)建數(shù)據(jù)可視化 ：資源 . 181
結(jié)語(yǔ) .. 182
參考資料 . 182
資源 .. 183
數(shù)據(jù)可視化工具 184
機(jī)器學(xué)習(xí)可視化工具 .. 184
數(shù)據(jù)新聞的可視化 .. 184
術(shù)語(yǔ)表 .. 184
第 10 章　AI 角色與行為..186
概述 .. 186
行為 .. 189
現(xiàn)狀 ：響應(yīng)式 AI. 191
適應(yīng)性 192
復(fù)雜性與普遍性 193
可行性 193
賦予系統(tǒng)更高的智能 ：慎思式 AI . 194
機(jī)器學(xué)習(xí) . 200
強(qiáng)化學(xué)習(xí) .. 201
深度強(qiáng)化學(xué)習(xí) . 202
模仿學(xué)習(xí) .. 203
自動(dòng)規(guī)劃與機(jī)器學(xué)習(xí)相結(jié)合 .. 204
應(yīng)用 . 204
結(jié)語(yǔ) .. 205
參考資料 . 206
第 6 部分　體驗(yàn)現(xiàn)實(shí)的應(yīng)用案例
第 11 章　VR 與 AR 醫(yī)療保健生態(tài)系統(tǒng)213
VR/AR 醫(yī)療保健技術(shù)應(yīng)用設(shè)計(jì) .. 214
標(biāo)準(zhǔn)用戶體驗(yàn)并不直觀 215
布置安定的環(huán)境 216
便利性 216
指導(dǎo)案例 ：帕金森綜合征項(xiàng)目 Insight . 216
Insight 的做法 217
Insight 的構(gòu)建 217
企業(yè) .. 221
醫(yī)療規(guī)劃與指導(dǎo) 222
與醫(yī)療教育相關(guān)的體驗(yàn) . 222
與患者相關(guān)的體驗(yàn) .. 224
主動(dòng)式醫(yī)療保健 226
前沿學(xué)術(shù)機(jī)構(gòu)的研究案例 .. 226
第 12 章　體育愛好者的 XR 體驗(yàn)231
概述 .. 231
第 1 部分 ：體育 AR 與 VR 的五大關(guān)鍵法則 234
沒有絕對(duì)的實(shí)時(shí) 235
第 2 部分 ：體育領(lǐng)域產(chǎn)品體驗(yàn)的進(jìn)一步發(fā)展 .. 238
第 3 部分 ：打造未來 240
所有權(quán) 243
忠告 . 245
結(jié)語(yǔ) .. 246
第 13 章　VR 企業(yè)培訓(xùn)案例. 247
概述 ：企業(yè)培訓(xùn)的重要性 .. 247
VR 培訓(xùn)有用嗎 248
案例 ：洪水屋培訓(xùn) . 250
VR 培訓(xùn)適合什么場(chǎng)景？“RIDE”準(zhǔn)則 253
什么是良好的 VR 培訓(xùn) 254
3D 全景視頻 . 255
3D 全景視頻的優(yōu)勢(shì). 256
3D 全景視頻面臨的挑戰(zhàn) .. 256
3D 全景視頻的交互. 256
案例 ：工廠車間培訓(xùn) 260
敘事的重要性 .. 261
案例 ：商店反搶劫應(yīng)急培訓(xùn) . 261
XR 培訓(xùn)的未來 ：超越 3D 全景視頻 263
計(jì)算機(jī)圖形.. 263
案例 ：職場(chǎng)軟技能培訓(xùn) 263
展望 ：攝影測(cè)量技術(shù) 265
展望 ：光場(chǎng) 266
展望 ：AR 培訓(xùn) 266
展望 ：語(yǔ)音識(shí)別 .. 267
展望 ：最理想的培訓(xùn)體驗(yàn) .. 267
參考資料 . 268
后記..269
關(guān)于作者..271
關(guān)于封面..274