基于多路特征融合的Faster R-CNN与迁移学习的学生课堂行为检测

• 作者: 杨来邦 楼雄伟 王永众 白捷 项晓航 高海力
• 来源期刊: 广西师范大学学报（自然科学版）
• 学科: 工学
• 关键词: 课堂行为检测 Faster R-CNN 特征融合 迁移学习
• 年，卷（期）: 2020,（5）
• 页码范围: 1-11
• 页数: 11页
• 分类号: TP181
• 语种: 中文
• DOI: 10.16088/j.issn.1001-6600.2020.05.001

摘要

课程教学质量是衡量学校教学水平的一项核心内容,其教学效果可以从学生听课状态进行直观反映.为提升学生上课状态,督促课堂纪律,本文提出一种基于多路特征融合的Faster R-CNN与迁移学习的学生课堂行为检测的方法.首先,利用浙江农林大学监控视频进行手工标注图片,并利用数据增强方式增加图片规模,建立常见学生课堂行为数据集;然后,以预训练的Inception-ResNet-v2网络用于特征提取,目标检测框架选用Faster R-CNN,通过迁移学习方式实现对正常学习、 睡觉、 低头等课堂行为的检测;最后,通过多路特征融合方式,在拥有丰富语义信息的深层中融入更多细节信息的浅层特征,得到改进的学生课堂表现检测模型.实验结果显示:该模型的查准率均值可达76.32％,在原有算法基础上提升了12.22个百分点,取得较好的检测效果.该模型对学生课堂行为具有较高的查准率,表明多路特征融合的Faster R-CNN在学生课堂行为检测具有一定的应用前景,可为提高课堂教学质量提供新的参考.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	白捷		2	0	0.0	0.0
2	高海力		1	0	0.0	0.0
3	王永众		1	0	0.0	0.0
4	杨来邦		4	0	0.0	0.0
5	项晓航		1	0	0.0	0.0
6	楼雄伟		13	29	4.0	5.0