第一部分 背景與理論
第1章 背景與意義 2
1.1 國家重視課堂學習行為分析的引領作用 2
1.1.1 課堂學習行為分析是落實個性化培養(yǎng)的重要舉措 2
1.1.2 課堂學習行為分析是加快教育新基建的重要舉措 3
1.1.3 課堂學習行為分析是促進教育“以人為本”發(fā)展的重要舉措 4
1.1.4 其他國家在“人工智能+教育”領域的行動計劃 5
1.2 要解決的問題 6
1.3　國內(nèi)外的研究現(xiàn)狀 9
1.3.1 課堂學習行為的視覺感知 9
1.3.2 分析國內(nèi)外的研究現(xiàn)狀 10
1.4　視覺感知原理 19
1.4.1 計算機視覺驅(qū)動的行為感知基礎 19
1.4.2 課堂學習行為的理解與認知 21
1.4.3 課堂學習行為的智能評測 21
1.5　總體研究框架 22
參考文獻 23
第2章 學習者興趣建模理論模型 31
2.1　興趣概念的界定與分類 31
2.1.1 興趣的概念界定 31
2.1.2 不同角度的分類 32
2.2　興趣的獲取方式與表示方法 33
2.2.1 興趣的獲取方式 33
2.2.2 興趣的表示方法 33
2.3　學習者興趣建模 34
2.3.1 學習者興趣模型的概念框架 34
2.3.2 學習者興趣模型的表示方法 37
2.4　學習者興趣模型量化指標分析 38
2.4.1 課堂注意力量化指標 38
2.4.2 課堂參與度量化指標 40
2.4.3 學習情感的量化指標 42
2.5　學習者興趣模型量化分析技術 43
2.5.1 興趣量化指標的采集方法 44
2.5.2 單維度的興趣指標量化技術 48
參考文獻 52
第二部分 關鍵技術
第3章 課堂學習行為數(shù)據(jù)集構建 56
3.1　頭部姿態(tài)的數(shù)據(jù)集 56
3.1.1 采集場景設計與布置 57
3.1.2 方案規(guī)劃與數(shù)據(jù)采集 60
3.1.3 數(shù)據(jù)后處理及數(shù)據(jù)庫設計 61
3.2　人體姿態(tài)的數(shù)據(jù)集 63
3.3　已有的數(shù)據(jù)集 64
3.3.1 面部表情圖像數(shù)據(jù)集 64
3.3.2 視線估計數(shù)據(jù)集的介紹 66
3.3.3 頭部姿態(tài)數(shù)據(jù)集的介紹 68
3.3.4 人體姿態(tài)數(shù)據(jù)集的介紹 70
3.4 參考鼠標軌跡數(shù)據(jù)的面部表情圖像標注 71
3.4.1 攝像頭和鼠標軌跡數(shù)據(jù)的采集與處理 71
3.4.2 標注方法的選擇與數(shù)據(jù)標準的一致性檢驗 74
3.5　數(shù)據(jù)集建立小結 79
參考文獻 79
第4章 面部表情識別方法 82
4.1　基礎 82
4.1.1 人工神經(jīng)網(wǎng)絡 82
4.1.2 卷積神經(jīng)網(wǎng)絡 86
4.1.3 圖卷積神經(jīng)網(wǎng)絡 88
4.1.4 標簽分布學習技術 91
4.2 基于高斯先驗分布的表情識別方法 92
4.2.1 情感標簽分布設計 93
4.2.3 基于標簽分布學習的表情識別模型構建 96
4.3 基于圖卷積網(wǎng)絡與K近鄰圖的面部表情識別 99
4.3.1 面部表情特性的挖掘 99
4.3.2 基于圖卷積網(wǎng)絡與K近鄰圖的情感標簽分布構建 102
4.3.3 K近鄰圖的情感標簽分布構建 105
4.3.4 情感標簽分布建模與優(yōu)化 106
4.4　建議及對未來的思考 108
參考文獻 109
第5章 視線估計方法 111
5.1　基礎 111
5.2 基于復合損失卷積神經(jīng)網(wǎng)絡的視線估計方法 112
5.3　基于頭戴式設備的視線估計 115
5.3.1 校準數(shù)據(jù)的準備 117
5.3.2 HMD的自標定 118
5.3.3 3D的PoR估計 120
5.4　建議及對未來的思考 121
參考文獻 122
第6章 頭部姿態(tài)估計方法 123
6.1　基礎 123
6.1.1 頭部姿態(tài)低容忍性分析 123
6.1.2 精細化頭部姿態(tài)標簽設計 124
6.1.3 姿態(tài)表示差異性分析 125
6.1.4 基于矩陣費雪分布的旋轉矩陣參數(shù)化 127
6.1.5 標簽平滑正則化技術 129
6.2　各向異性的分布學習 130
6.2.1 頭部姿態(tài)的兩個觀察及驗證 130
6.2.2 各向異性的姿態(tài)分布模型構建 133
6.2.3 基于極大后驗估計的損失函數(shù)推導 134
6.2.4 基于空間權重的網(wǎng)絡架構 135
6.3　基于三元組架構的頭部姿態(tài)估計 137
6.3.1 三元組網(wǎng)絡架構 137
6.3.2 頭部姿態(tài)精細化估計 138
6.3.3 基于三元組架構的精細化頭部姿態(tài)估計模型 139
6.3.4 損失函數(shù)和模型優(yōu)化 140
6.4 基于矩陣費雪分布的頭部姿態(tài)估計方法 141
6.4.1 矩陣費雪分布模塊構建 141
6.4.2 模型架構設計 142
6.4.3 損失函數(shù)和模型優(yōu)化 143
6.5 建議及對未來的思考 144
參考文獻 145
第7章 人體姿態(tài)估計方法 146
7.1　基礎 146
7.1.1 基于深度學習的人體姿態(tài)估計方法介紹 146
7.1.2 目標檢測 148
7.1.3 非極大值抑制 150
7.1.4 HRNet網(wǎng)絡框架 151
7.1.5 姿態(tài)估計回歸方式 152
7.2　基于骨骼線索感知的HPE模型構建 153
7.2.1 基于骨骼線索感知的高斯坐標編碼 153
7.2.2 面向姿態(tài)估計的EHPE模型構建 158
7.3　基于像素表征學習的CHRNet網(wǎng)絡設計 161
7.3.1 前背景權重組件 161
7.3.2 AF1-measure評估策略 162
7.3.3 CHRNet網(wǎng)絡架構 163
7.4　建議及對未來的思考 163
參考文獻 164
第三部分 應用與未來趨勢
第8章 課堂學習行為的多模態(tài)融合 168
8.1　過程性的融合 168
8.1.1 多模態(tài)數(shù)據(jù)融合的層次 168
8.1.2 過程性融合的關鍵問題 169
8.2　決策性融合 172
8.3　混合性的融合 174
8.3.1 分層信息融合方法 175
8.3.2 混合性融合 176
參考文獻 177
第9章 應用與未來趨勢 178
9.1　應用1：智慧教室中的學生興趣模型應用實例分析 178
9.1.1 《酸堿鹽》案例基本信息 178
9.1.2 學習行為數(shù)據(jù)采集 180
9.1.3 學生的課堂興趣量化分析 182
9.2　應用2：基于鼠標軌跡和面部表情的投入度分析 182
9.3　應用3：基于關鍵點位置信息的學習者課堂狀態(tài)分析機制 185
9.3.1 學習者行為識別路線 186
9.3.2 學習行為分析指標 188
9.3.3 學習者行為狀態(tài)判別系統(tǒng)構建 189
9.4　應用4：基于頭部姿態(tài)的學習者注意力感知與分析 190
9.4.1 實驗數(shù)據(jù)采集 191
9.4.2 學習者注意力感知分析 192
9.5 未來趨勢 195
后記 197