基于卷积神经网络的三维动画表情生成及情感监督方法

• 作者: 庄美琪 谭小慧 樊亚春 程厚森
• 来源期刊: 重庆理工大学学报（自然科学版）
• 学科: 工学
• 关键词: 在线教学 深度学习 情感监督 三维表情生成 人脸动作单元
• 年，卷（期）: 2022,（1）
• 所属期刊栏目: 智能技术
• 页码范围: 151-158
• 页数: 8页
• 分类号: TP391.9|TP183
• 语种: 中文
• DOI: 10.3969/j.issn.1674-8425(z).2022.01.019

摘要

针对在线学习,提出一种三维动画表情生成方法,复现学生学习过程中的情感状态,同时对学生进行情感监督.将视频作为输入,通过卷积神经网络识别人脸动作单元,将识别结果作为驱动虚拟替身的数据使其面部发生形变从而生成表情;基于识别结果计算情感指数,进行可视化分析生成情感监督图表.研究得出:用户对提供的表情生成效果和情感指数符合程度的评分均值达到83.97.手动生成的表情同自动生成表情的对比实验证明:效果一致.最终呈现3种可视化结果(动画表情生成效果、情感指数波动图和情感指数分布图),为教师提供了具有学生隐私保护的情感监督和学习状态反馈.