虛幻引擎實(shí)踐篇：虛擬制片

第1部分虛擬制片概述
第1章 虛擬制片簡介
1.1 何為虛擬制片 2
1.1.1 基本概念 2
1.1.2 商業(yè)價(jià)值 4
1.2 虛擬制片相關(guān)技術(shù)組成 7
1.2.1 三維制作技術(shù) 7
1.2.2 實(shí)時(shí)渲染技術(shù) 10
1.2.3 虛擬攝影技術(shù) 11
1.2.4 動(dòng)作和面部捕捉技術(shù) 14
1.3 虛擬制片特點(diǎn) 16
1.3.1 視效實(shí)時(shí)化，所見即所得 16
1.3.2 優(yōu)化制片流程，增效團(tuán)隊(duì)協(xié)作 18
1.3.3 最大程度節(jié)約成本 20
第2章 虛擬制片發(fā)展歷程
2.1 電子布景概念的提出 22
2.2 動(dòng)態(tài)預(yù)演的出現(xiàn) 22
2.3 IBC展覽會(huì)上虛擬演播室技術(shù)首次亮相 24
2.4 動(dòng)作捕捉和運(yùn)動(dòng)控制的使用：《泰坦尼克號(hào)》和《黑客帝國》 25
2.5 表演捕捉、虛擬拍攝：《阿凡達(dá)》 28
2.6 LED 虛擬制片時(shí)代的到來：《曼達(dá)洛人》 30
2.6.1 虛擬背景 31
2.6.2 實(shí)時(shí)互動(dòng) 31
2.6.3 虛擬布景的細(xì)節(jié) 32
2.6.4 與實(shí)體布景的融合 32
2.6.5 特效和后期制作 33
第3章 虛擬制片類型
3.1 動(dòng)態(tài)預(yù)演（可視化） 35
3.2 表演捕捉 38
3.3 混合綠幕式虛擬制片 39
3.3.1 非實(shí)時(shí)混合 39
3.3.2 實(shí)時(shí)混合 40
3.4 全實(shí)時(shí)LED虛擬制片 41
第2部分虛擬制片技術(shù)入門之虛擬制片五大系統(tǒng)
第4章 實(shí)時(shí)圖形渲染引擎系統(tǒng)
4.1 實(shí)時(shí)渲染引擎系統(tǒng)介紹 44
4.1.1 實(shí)時(shí)圖形渲染引擎的發(fā)展與特點(diǎn) 44
4.1.2 實(shí)時(shí)圖形渲染引擎在虛擬制片中的運(yùn)用 46
4.1.3 主流實(shí)時(shí)渲染引擎介紹 47
4.1.4 實(shí)時(shí)圖形渲染的工作原理 50
4.2 傳統(tǒng)渲染引擎系統(tǒng)介紹 50
4.2.1 傳統(tǒng)渲染引擎的定義和工作方式 50
4.2.2 主流傳統(tǒng)渲染引擎介紹 51
4.3 實(shí)時(shí)圖形渲染引擎聯(lián)合DCC開發(fā)流程與指標(biāo) 54
4.3.1 原始資產(chǎn)開發(fā) 54
4.3.2 UE5利用外部資產(chǎn)搭建場(chǎng)景 57
4.3.3 實(shí)時(shí)渲染 60
4.4 實(shí)時(shí)圖形渲染引擎中的動(dòng)畫系統(tǒng) 64
4.4.1 Sequencer 64
4.4.2 FBX導(dǎo)入并調(diào)整模型動(dòng)畫 64
4.4.3 FBX導(dǎo)入并調(diào)整攝影機(jī)動(dòng)畫 66
4.5 實(shí)時(shí)圖形渲染引擎中的地形編輯工具 67
4.5.1 Landscape 67
4.5.2 使用地形模式編輯 67
4.5.3 地形編輯輔助工具 68
4.6 實(shí)時(shí)圖形渲染引擎中的地形材質(zhì) 68
4.6.1 分層材質(zhì) 68
4.6.2 繪制材質(zhì) 69
4.7 實(shí)時(shí)圖形渲染引擎中的流體解決方案 69
4.8 數(shù)字資產(chǎn)場(chǎng)景搭建案例實(shí)操 73
4.8.1 新建地圖和地形 73
4.8.2 基本天氣系統(tǒng)配置 74
4.8.3 引入資產(chǎn) 78
4.8.4 添加植被 85
4.8.5 配置燈光 87
第5章 LED 顯示屏顯示系統(tǒng)
5.1 LED屏幕方案 93
5.1.1 直面屏（三面屏） 93
5.1.2 弧形屏（異形屏） 95
5.1.3 天幕屏（頂屏） 95
5.2 LED顯示系統(tǒng) 96
5.2.1 像素間距（點(diǎn)間距） 96
5.2.2 可視角度 97
5.2.3 色域覆蓋 98
5.2.4 灰度等級(jí) 99
5.2.5 刷新率 99
5.2.6 掃描數(shù) 100
5.2.7 發(fā)光陣列 100
5.3 視頻信號(hào)管理器 101
5.4 LED虛擬拍攝過程中面臨的挑戰(zhàn)  102
5.4.1 摩爾紋 102
5.4.2 掃描線偽影 103
5.4.3 色彩管理 103
5.4.4 色彩還原精準(zhǔn)度 104
5.5 工作流程指南 105
5.5.1 規(guī)劃與初步框架 106
5.5.2 實(shí)拍與提升技巧 110
第6章 攝影機(jī)跟蹤系統(tǒng)
6.1 攝影機(jī)坐標(biāo)定位方案 112
6.1.1 主動(dòng)式紅外光學(xué)跟蹤定位方案 112
6.1.2 被動(dòng)式紅外激光跟蹤定位方案 114
6.1.3 其他跟蹤方案 115
6.2 使用專業(yè)攝影機(jī)系統(tǒng)結(jié)合Live Link與metadata互通的解決方案 115
6.3 攝影機(jī)反求 117
6.3.1 Nuke反求攝影機(jī) 117
6.3.2 將帶有攝影機(jī)動(dòng)畫的FBX等文件導(dǎo)入U(xiǎn)E 120
6.4 攝影機(jī)參數(shù)數(shù)據(jù)與UE聯(lián)動(dòng) 121
6.4.1 校準(zhǔn)機(jī)操作 121
6.4.2 UE主控機(jī)操作 125
第7章 虛實(shí)場(chǎng)景的匹配系統(tǒng)
7.1 虛擬場(chǎng)景的測(cè)量標(biāo)準(zhǔn)（測(cè)量單位、測(cè)量方法） 129
7.1.1 統(tǒng)一模型尺寸標(biāo)準(zhǔn) 129
7.1.2 UE中Landscape尺寸管理 130
7.2 虛擬場(chǎng)景中的透視匹配（nDisplay） 130
7.2.1 攝影機(jī)鏡頭校準(zhǔn) 132
7.2.2 通過UE鏡頭文件完成鏡頭校準(zhǔn) 134
7.2.3 使用nDisplay創(chuàng)建LED墻 136
7.2.4 使用ArUco對(duì)LED墻與攝像機(jī)進(jìn)行匹配 137
7.3 實(shí)景輔助搭建 140
7.4 道具資產(chǎn)掃描 140
7.4.1 利用LiDAR或攝影測(cè)量建模創(chuàng)建掃描虛擬場(chǎng)景 140
7.4.2 利用在線數(shù)字資產(chǎn)庫創(chuàng)建虛擬場(chǎng)景 141
7.5 使用機(jī)械裝置作為輔助拍攝 141
7.6 實(shí)景與虛擬之間的色彩匹配 143
7.6.1 使用ACES色彩空間管理色彩 143
7.6.2 使用色卡與反射球檢查和匹配色彩 143
第8章 燈光系統(tǒng)
8.1 虛擬拍攝燈光概念 145
8.2 虛擬拍攝常用燈光類型 146
8.2.1 LED屏幕 147
8.2.2 LED燈具 147
8.2.3 傳統(tǒng)影視燈具 148
8.2.4 電腦燈 149
8.3 數(shù)字燈光系統(tǒng)介紹 149
8.3.1 DMX調(diào)光控制系統(tǒng) 150
8.3.2 網(wǎng)絡(luò)控制系統(tǒng) 150
8.3.3 藍(lán)牙控制系統(tǒng) 150
8.4 虛擬現(xiàn)實(shí)燈光連接流程 150
8.4.1 虛擬燈光與DMX控制 150
8.4.2 物理燈光與DMX控制 153
8.5 虛擬現(xiàn)實(shí)燈光案例分析 155
第3部分虛擬制片技術(shù)進(jìn)階
第9章 動(dòng)態(tài)場(chǎng)景觸發(fā)
9.1 燈光預(yù)設(shè) 160
9.2 可控式動(dòng)態(tài)天氣 162
9.3 觸發(fā)式場(chǎng)景動(dòng)態(tài) 163
9.3.1 構(gòu)建場(chǎng)景動(dòng)畫 164
9.3.2 創(chuàng)建藍(lán)圖類 164
9.3.3 使用藍(lán)圖編輯器 164
9.3.4 添加鍵盤輸入事件 165
9.3.5 添加場(chǎng)景動(dòng)畫節(jié)點(diǎn) 165
9.3.6 連接節(jié)點(diǎn) 165
9.3.7 配置場(chǎng)景動(dòng)畫節(jié)點(diǎn) 165
9.3.8 設(shè)置鍵盤輸入事件 166
9.3.9 觸發(fā)場(chǎng)景動(dòng)畫 166
9.3.10 測(cè)試場(chǎng)景動(dòng)畫 166
9.4 自然場(chǎng)景動(dòng)態(tài)轉(zhuǎn)換 167
9.4.1 時(shí)間轉(zhuǎn)換 167
9.4.2 天氣轉(zhuǎn)換 172
9.5 場(chǎng)景氛圍感構(gòu)建 174
9.5.1 后處理材質(zhì)與后處理體積 174
9.5.2 體積霧 175
9.5.3 體積云 178
第10章 虛實(shí)場(chǎng)景融合
10.1 常用系統(tǒng)簡介 181
10.1.1 disguise 181
10.1.2 Zero Density 182
10.1.3 Aximmetry 184
10.1.4 UE Composure插件 185
10.2 傳統(tǒng)綠幕式場(chǎng)景融合方案 185
10.2.1 實(shí)時(shí)綠幕摳像合成 185
10.2.2 非實(shí)時(shí)綠幕摳像合成 189
10.3 LED拍攝方式場(chǎng)景融合方案 194
10.3.1 硬件 195
10.3.2 攝像機(jī)追蹤 197
10.3.3 Live Link 197
10.3.4 攝像機(jī)校準(zhǔn) 200
10.3.5 鏡頭內(nèi)視效的時(shí)間碼和同步鎖定 200
10.3.6 實(shí)時(shí)合成 201
10.3.7 顏色校正 202
10.3.8 OpenColorIO 203
10.3.9 光影匹配 204
10.3.10 舞臺(tái)監(jiān)視器 205
10.3.11 物體場(chǎng)景設(shè)計(jì) 205
10.4 場(chǎng)景擴(kuò)展補(bǔ)充 206
第11章 數(shù)字人與虛擬制片的綜合
11.1 數(shù)字人創(chuàng)建 207
11.1.1 傳統(tǒng)創(chuàng)建流程 207
11.1.2 高精度點(diǎn)云掃描 211
11.1.3 MetaHuman 212
11.1.4 MetaHuman及其輔助制作工具 214
11.2 數(shù)字人綁定 215
11.3 動(dòng)作捕捉技術(shù) 218
11.3.1 光學(xué)捕捉 218
11.3.2 慣性捕捉 219
11.3.3 機(jī)械式動(dòng)作捕捉 219
11.4 視覺動(dòng)作捕捉技術(shù)與數(shù)字人運(yùn)動(dòng)數(shù)據(jù)驅(qū)動(dòng) 220
11.4.1 動(dòng)捕設(shè)備數(shù)據(jù)獲取 220
11.4.2 虛幻引擎與動(dòng)捕設(shè)備的配置 224
第12章 數(shù)字資產(chǎn)管理與同步
12.1 數(shù)字資產(chǎn)版本管理、同步與協(xié)同 233
12.1.1 數(shù)字資產(chǎn)元數(shù)據(jù)管理 233
12.1.2 UE中的元數(shù)據(jù) 238
12.1.3 UE中利用元數(shù)據(jù)同步多元資產(chǎn) 240
12.2 UE中數(shù)字資產(chǎn)與Live Link metadata延伸 242
12.3 UE中的虛擬資產(chǎn) 243
第13章 虛擬制片的未來應(yīng)用場(chǎng)景
13.1 影視與廣告制作 244
13.1.1 更加真實(shí)的虛擬角色 244
13.1.2 更加自然的角色互動(dòng) 245
13.1.3 更加真實(shí)的虛擬環(huán)境渲染 245
13.2 演唱會(huì)與直播 246
13.2.1 創(chuàng)新舞臺(tái)設(shè)計(jì)，打造震撼的藝術(shù)體驗(yàn) 246
13.2.2 拓展舞臺(tái)空間，打造超越時(shí)空的視覺效果 247
13.2.3 創(chuàng)作數(shù)字替身，延長藝術(shù)家的演出生命 248
13.2.4 提升視效體驗(yàn)，賦予網(wǎng)絡(luò)直播更多可能 248
13.3 電子游戲 249
13.3.1 提供更復(fù)雜且逼真的游戲環(huán)境 249
13.3.2 提升真人影像互動(dòng)游戲的制作效率 250
13.3.3 打造逼真的線下游戲空間體驗(yàn) 251
13.4 文化教育 252
13.4.1 實(shí)現(xiàn)難以觸及的教學(xué)內(nèi)容可視化與可操作化 252
13.4.2 推動(dòng)個(gè)性化教學(xué) 253
13.4.3 實(shí)現(xiàn)跨地域、異步的網(wǎng)絡(luò)教學(xué) 253
13.5 文化旅游 254
13.5.1 在虛擬現(xiàn)實(shí)環(huán)境中重現(xiàn)歷史遺跡和場(chǎng)景 254
13.5.2 借助增強(qiáng)現(xiàn)實(shí)技術(shù)增強(qiáng)游覽體驗(yàn) 254
13.5.3 借助實(shí)時(shí)渲染技術(shù)打造沉浸式文旅空間 255
13.5.4 利用LED屏技術(shù)拓展古建筑與歷史場(chǎng)景 255
13.6 商業(yè)展示 256
13.6.1 現(xiàn)場(chǎng)呈現(xiàn)互動(dòng)體驗(yàn) 256
13.6.2 虛擬服務(wù)與社交 257
13.7 訓(xùn)練與模擬 257
13.7.1 消防演習(xí)、飛行訓(xùn)練和軍事模擬等危險(xiǎn)場(chǎng)景的演習(xí)與應(yīng)急處理訓(xùn)練 258
13.7.2 醫(yī)療領(lǐng)域中的醫(yī)學(xué)教學(xué)、醫(yī)學(xué)診斷和手術(shù)模擬等應(yīng)用 258
后記