課堂學(xué)習(xí)行為的視覺感知與分析

部分 背景與理論
第1章 背景與意義 2
1.1 國家重視課堂學(xué)習(xí)行為分析的引領(lǐng)作用 2
1.1.1 課堂學(xué)習(xí)行為分析是落實個性化培養(yǎng)的重要舉措 2
1.1.2 課堂學(xué)習(xí)行為分析是加快教育新基建的重要舉措 3
1.1.3 課堂學(xué)習(xí)行為分析是促進教育“以人為本”發(fā)展的重要舉措 4
1.1.4 其他國家在“人工智能+教育”領(lǐng)域的行動計劃 5
1.2 要解決的問題 6
1.3　國內(nèi)外的研究現(xiàn)狀 9
1.3.1 課堂學(xué)習(xí)行為的視覺感知 9
1.3.2 分析國內(nèi)外的研究現(xiàn)狀 10
1.4　視覺感知原理 19
1.4.1 計算機視覺驅(qū)動的行為感知基礎(chǔ) 19
1.4.2 課堂學(xué)習(xí)行為的理解與認(rèn)知 21
1.4.3 課堂學(xué)習(xí)行為的智能評測 21
1.5　總體研究框架 22
參考文獻 23
第2章 學(xué)習(xí)者興趣建模理論模型 31
2.1　興趣概念的界定與分類 31
2.1.1 興趣的概念界定 31
2.1.2 不同角度的分類 32
2.2　興趣的獲取方式與表示方法 33
2.2.1 興趣的獲取方式 33
2.2.2 興趣的表示方法 33
2.3　學(xué)習(xí)者興趣建模 34
2.3.1 學(xué)習(xí)者興趣模型的概念框架 34
2.3.2 學(xué)習(xí)者興趣模型的表示方法 37
2.4　學(xué)習(xí)者興趣模型量化指標(biāo)分析 38
2.4.1 課堂注意力量化指標(biāo) 38
2.4.2 課堂參與度量化指標(biāo) 40
2.4.3 學(xué)習(xí)情感的量化指標(biāo) 42
2.5　學(xué)習(xí)者興趣模型量化分析技術(shù) 43
2.5.1 興趣量化指標(biāo)的采集方法 44
2.5.2 單維度的興趣指標(biāo)量化技術(shù) 48
參考文獻 52
第二部分 關(guān)鍵技術(shù)
第3章 課堂學(xué)習(xí)行為數(shù)據(jù)集構(gòu)建 56
3.1　頭部姿態(tài)的數(shù)據(jù)集 56
3.1.1 采集場景設(shè)計與布置 57
3.1.2 方案規(guī)劃與數(shù)據(jù)采集 60
3.1.3 數(shù)據(jù)后處理及數(shù)據(jù)庫設(shè)計 61
3.2　人體姿態(tài)的數(shù)據(jù)集 63
3.3　已有的數(shù)據(jù)集 64
3.3.1 面部表情圖像數(shù)據(jù)集 64
3.3.2 視線估計數(shù)據(jù)集的介紹 66
3.3.3 頭部姿態(tài)數(shù)據(jù)集的介紹 68
3.3.4 人體姿態(tài)數(shù)據(jù)集的介紹 70
3.4 參考鼠標(biāo)軌跡數(shù)據(jù)的面部表情圖像標(biāo)注 71
3.4.1 攝像頭和鼠標(biāo)軌跡數(shù)據(jù)的采集與處理 71
3.4.2 標(biāo)注方法的選擇與數(shù)據(jù)標(biāo)準(zhǔn)的一致性檢驗 74
3.5　數(shù)據(jù)集建立小結(jié) 79
參考文獻 79
第4章 面部表情識別方法 82
4.1　基礎(chǔ) 82
4.1.1 人工神經(jīng)網(wǎng)絡(luò) 82
4.1.2 卷積神經(jīng)網(wǎng)絡(luò) 86
4.1.3 圖卷積神經(jīng)網(wǎng)絡(luò) 88
4.1.4 標(biāo)簽分布學(xué)習(xí)技術(shù) 91
4.2 基于高斯先驗分布的表情識別方法 92
4.2.1 情感標(biāo)簽分布設(shè)計 93
4.2.3 基于標(biāo)簽分布學(xué)習(xí)的表情識別模型構(gòu)建 96
4.3 基于圖卷積網(wǎng)絡(luò)與K近鄰圖的面部表情識別 99
4.3.1 面部表情特性的挖掘 99
4.3.2 基于圖卷積網(wǎng)絡(luò)與K近鄰圖的情感標(biāo)簽分布構(gòu)建 102
4.3.3 K近鄰圖的情感標(biāo)簽分布構(gòu)建 105
4.3.4 情感標(biāo)簽分布建模與優(yōu)化 106
4.4　建議及對未來的思考 108
參考文獻 109
第5章 視線估計方法 111
5.1　基礎(chǔ) 111
5.2 基于復(fù)合損失卷積神經(jīng)網(wǎng)絡(luò)的視線估計方法 112
5.3　基于頭戴式設(shè)備的視線估計 115
5.3.1 校準(zhǔn)數(shù)據(jù)的準(zhǔn)備 117
5.3.2 HMD的自標(biāo)定 118
5.3.3 3D的PoR估計 120
5.4　建議及對未來的思考 121
參考文獻 122
第6章 頭部姿態(tài)估計方法 123
6.1　基礎(chǔ) 123
6.1.1 頭部姿態(tài)低容忍性分析 123
6.1.2 精細(xì)化頭部姿態(tài)標(biāo)簽設(shè)計 124
6.1.3 姿態(tài)表示差異性分析 125
6.1.4 基于矩陣費雪分布的旋轉(zhuǎn)矩陣參數(shù)化 127
6.1.5 標(biāo)簽平滑正則化技術(shù) 129
6.2　各向異性的分布學(xué)習(xí) 130
6.2.1 頭部姿態(tài)的兩個觀察及驗證 130
6.2.2 各向異性的姿態(tài)分布模型構(gòu)建 133
6.2.3 基于極大后驗估計的損失函數(shù)推導(dǎo) 134
6.2.4 基于空間權(quán)重的網(wǎng)絡(luò)架構(gòu) 135
6.3　基于三元組架構(gòu)的頭部姿態(tài)估計 137
6.3.1 三元組網(wǎng)絡(luò)架構(gòu) 137
6.3.2 頭部姿態(tài)精細(xì)化估計 138
6.3.3 基于三元組架構(gòu)的精細(xì)化頭部姿態(tài)估計模型 139
6.3.4 損失函數(shù)和模型優(yōu)化 140
6.4 基于矩陣費雪分布的頭部姿態(tài)估計方法 141
6.4.1 矩陣費雪分布模塊構(gòu)建 141
6.4.2 模型架構(gòu)設(shè)計 142
6.4.3 損失函數(shù)和模型優(yōu)化 143
6.5 建議及對未來的思考 144
參考文獻 145
第7章 人體姿態(tài)估計方法 146
7.1　基礎(chǔ) 146
7.1.1 基于深度學(xué)習(xí)的人體姿態(tài)估計方法介紹 146
7.1.2 目標(biāo)檢測 148
7.1.3 非極大值抑制 150
7.1.4 HRNet網(wǎng)絡(luò)框架 151
7.1.5 姿態(tài)估計回歸方式 152
7.2　基于骨骼線索感知的HPE模型構(gòu)建 153
7.2.1 基于骨骼線索感知的高斯坐標(biāo)編碼 153
7.2.2 面向姿態(tài)估計的EHPE模型構(gòu)建 158
7.3　基于像素表征學(xué)習(xí)的CHRNet網(wǎng)絡(luò)設(shè)計 161
7.3.1 前背景權(quán)重組件 161
7.3.2 AF1-measure評估策略 162
7.3.3 CHRNet網(wǎng)絡(luò)架構(gòu) 163
7.4　建議及對未來的思考 163
參考文獻 164
第三部分 應(yīng)用與未來趨勢
第8章 課堂學(xué)習(xí)行為的多模態(tài)融合 168
8.1　過程性的融合 168
8.1.1 多模態(tài)數(shù)據(jù)融合的層次 168
8.1.2 過程性融合的關(guān)鍵問題 169
8.2　決策性融合 172
8.3　混合性的融合 174
8.3.1 分層信息融合方法 175
8.3.2 混合性融合 176
參考文獻 177
第9章 應(yīng)用與未來趨勢 178
9.1　應(yīng)用1：智慧教室中的學(xué)生興趣模型應(yīng)用實例分析 178
9.1.1 《酸堿鹽》案例基本信息 178
9.1.2 學(xué)習(xí)行為數(shù)據(jù)采集 180
9.1.3 學(xué)生的課堂興趣量化分析 182
9.2　應(yīng)用2：基于鼠標(biāo)軌跡和面部表情的投入度分析 182
9.3　應(yīng)用3：基于關(guān)鍵點位置信息的學(xué)習(xí)者課堂狀態(tài)分析機制 185
9.3.1 學(xué)習(xí)者行為識別路線 186
9.3.2 學(xué)習(xí)行為分析指標(biāo) 188
9.3.3 學(xué)習(xí)者行為狀態(tài)判別系統(tǒng)構(gòu)建 189
9.4　應(yīng)用4：基于頭部姿態(tài)的學(xué)習(xí)者注意力感知與分析 190
9.4.1 實驗數(shù)據(jù)采集 191
9.4.2 學(xué)習(xí)者注意力感知分析 192
9.5 未來趨勢 195
后記 197