視頻行為分析與情感計算

目錄　
第1章　緒論　1　
1.1　引言　1　
1.2　視頻行為分析　1　
1.3　視頻情感計算　3　
第2章　光流計算　4　
2.1　概述　4　
2.2　光流數(shù)據(jù)集　6　
2.2.1　Yosemite數(shù)據(jù)集　6　
2.2.2　Middlebury數(shù)據(jù)集　6　
2.2.3　Sintel數(shù)據(jù)集.6　
2.2.4　KITTI數(shù)據(jù)集　8　
2.2.5　FlyingChairs數(shù)據(jù)集　8　
2.2.6　FlyingThings3D數(shù)據(jù)集　9　
2.2.7　Monkaa數(shù)據(jù)集　10　
2.2.8　Driving數(shù)據(jù)集　10　
2.3　光流計算性能指標　11　
2.4　光流計算挑戰(zhàn)　12　
2.5　傳統(tǒng)光流計算方法　12　
2.5.1　基于梯度的光流計算方法　12　
2.5.2　基于匹配的光流計算方法　14　
2.6　基于深度學習的光流計算方法　16　
2.6.1　編碼器-譯碼器結(jié)構(gòu)　16　
2.6.2　基于有監(jiān)督學習的光流計算方法　16　
2.6.3　基于無監(jiān)督學習的光流計算方法　26　
2.7　光流計算方法性能對比分析　29　
2.8　光流的應(yīng)用　33　
第3章　視頻行為識別　36　
3.1　概述　36　
3.2　視頻行為識別數(shù)據(jù)集　37　
3.2.1　KTH數(shù)據(jù)集　38
3.2.2　Weizmann數(shù)據(jù)集　39　
3.2.3　IXMAS數(shù)據(jù)集　39　
3.2.4　UIUC數(shù)據(jù)集　39　
3.2.5　Hollywood2數(shù)據(jù)集　39　
3.2.6　YouTube數(shù)據(jù)集　40　
3.2.7　Olympic　Sports數(shù)據(jù)集　40　
3.2.8　TV　Human　Interaction數(shù)據(jù)集　40　
3.2.9　HMDB51數(shù)據(jù)集　41　
3.2.10　UCF50數(shù)據(jù)集　41　
3.2.11　UCF101數(shù)據(jù)集　42　
3.2.12　Sports-1M數(shù)據(jù)集　42　
3.2.13　THUMOS數(shù)據(jù)集　43　
3.2.14　ActivityNet數(shù)據(jù)集　43　
3.2.15　ACT數(shù)據(jù)集　43　
3.2.16　Charades數(shù)據(jù)集　44　
3.2.17　YouTube-8M數(shù)據(jù)集　44　
3.2.18　20BN-something-something數(shù)據(jù)集　45　
3.2.19　FCVID數(shù)據(jù)集　45　
3.2.20　Kinetics數(shù)據(jù)集　45　
3.3　視頻行為識別性能指標　46　
3.4　基于特征設(shè)計的行為識別方法　47　
3.4.1　局部特征描述　48　
3.4.2　特征向量編碼　56　
3.4.3　行為類別預測　60　
3.5　基于深度學習的行為識別方法　61　
3.5.1　有監(jiān)督視頻表示學習　62　
3.5.2　無監(jiān)督視頻表示學習　72　
3.6　視頻行為識別方法性能對比分析　81　
第4章　時域視頻行為檢測　83　
4.1　概述　83　
4.2　時域視頻行為檢測數(shù)據(jù)集　84　
4.2.1　Coffee-and-Cigarettes數(shù)據(jù)集85　
4.2.2　DLSBP數(shù)據(jù)集　85　
4.2.3　MSR-II數(shù)據(jù)集　86　
4.2.4　GTEA數(shù)據(jù)集　86
4.2.5　KSCGR數(shù)據(jù)集　86　
4.2.6　MPII-Cooking數(shù)據(jù)集　88　
4.2.7　50Salads數(shù)據(jù)集　89　
4.2.8　THUMOS數(shù)據(jù)集　90　
4.2.9　ActivityNet數(shù)據(jù)集　91　
4.2.10　MPII-Cooking2數(shù)據(jù)集　93　
4.2.11　MultiTHUMOS數(shù)據(jù)集　94　
4.2.12　MEXaction2數(shù)據(jù)集　95　
4.2.13　Charades數(shù)據(jù)集　96　
4.2.14　MERL Shopping數(shù)據(jù)集　97　
4.2.15　TVSeries數(shù)據(jù)集　98　
4.2.16　HACS數(shù)據(jù)集　99　
4.3　時域視頻行為檢測性能指標　100　
4.3.1　精確率　101　
4.3.2　召回率　101　
4.3.3　平均召回率　101　
4.3.4　曲線下面積　101　
4.3.5　平均精確率　102　
4.3.6　終得分　102　
4.4　時域視頻行為檢測方法　102　
4.4.1　基于滑動窗口的方法　102　
4.4.2　基于分段檢測的方法　107　
4.4.3　基于時域提案的方法　113　
4.4.4　基于端對端的方法　126　
4.5　時域視頻行為檢測方法性能對比分析　131　
第5章　時空域視頻行為檢測　133　
5.1　概述　133　
5.2　時空域視頻行為檢測數(shù)據(jù)集　134　
5.2.1　UCF-Sports數(shù)據(jù)集　134　
5.2.2　MSR-II數(shù)據(jù)集　135　
5.2.3　UCF101數(shù)據(jù)集　135　
5.2.4　LIRIS-HARL數(shù)據(jù)集　136　
5.2.5　J-HMDB數(shù)據(jù)集　137　
5.2.6　Hollywood2Tubes數(shù)據(jù)集　138　
5.2.7　DALY數(shù)據(jù)集　139
5.2.8　AVA數(shù)據(jù)集　140　
5.3　時空域視頻行為檢測性能指標　141　
5.3.1　準確率　141　
5.3.2　接收者操作特性曲線　141　
5.3.3　平均最佳重疊度　142　
5.4　傳統(tǒng)時空域視頻行為檢測方法　142　
5.4.1　基于判別單元的方法　143　
5.4.2　基于密集軌跡的方法　145　
5.4.3　基于可變部件的方法　147　
5.4.4　基于層級分割的方法　149　
5.4.5　基于超像素體的方法　151　
5.5　基于深度學習的時空域視頻行為檢測方法　154　
5.5.1　基于分段檢測的方法　154　
5.5.2　基于管提案的方法　171　
5.6　時空域視頻行為檢測方法性能對比分析　178　
第6章　視頻情感計算　181　
6.1　概述　181　
6.2　心理學情感模型　182　
6.3　視頻情感計算數(shù)據(jù)集　184　
6.3.1　DEAP數(shù)據(jù)集　184　
6.3.2　VideoEmotion數(shù)據(jù)集　184　
6.3.3　LIRIS-ACCEDE數(shù)據(jù)集　185　
6.3.4　EEV數(shù)據(jù)集　186　
6.4　視頻情感計算性能指標　186　
6.5　基于特征設(shè)計的視頻情感計算方法　187　
6.5.1　視覺特征提取　187　
6.5.2　音頻特征提取　192　
6.5.3　情感模型學習　195　
6.6　基于深度學習的視頻情感計算方法　196　
6.6.1　增強型多模深度玻爾茲曼機　196　
6.6.2　多模深度回歸貝葉斯網(wǎng)絡(luò)　199　
6.6.3　自適應(yīng)融合循環(huán)網(wǎng)絡(luò)　201　
6.7　視頻情感計算方法性能對比分析　203　
結(jié)束語　206　
參考文獻　208　
彩圖