面向情绪调节的多模态人机交互技术

• 作者: 刘婷婷 刘箴 庄寅 张凯乐 柴艳杰
• 来源期刊: 中国图象图形学报
• 学科: 工学
• 关键词: 人机交互(HCI) 情绪调节 机器学习 情感计算 多模态
• 年，卷（期）: 2020,（11）
• 所属期刊栏目: 生理信号和心理状态分析
• 页码范围: 2451-2464
• 页数: 14页
• 分类号: TP391.9
• 语种: 中文

摘要

目的 现代社会存在心理问题的人日趋增多,及时调节其负面情绪对社会和谐稳定具有重要现实意义.传统的情绪调节方法需要花费大量人力,为此提出一种面向情绪调节的多模态人机交互方法,识别用户情绪,采用文本对话和体感交互实现对用户情绪的调节.方法 综合运用了表情识别、文本对话和手势来实现对用户情绪的识别,构建了具有情绪表现力的智能体.用户的表情识别采用支持向量机方法,文本对话采用基于规则和融入情绪因素的Seq2Seq模型实现.设计了聊天、过生日和互动游戏(打篮球)等交互剧情,采用手势和肢体动作来辅助交互.为了更好地体现情绪调节的作用,在互动游戏中设计了强化学习算法,可根据用户的情绪反馈来自动调整游戏难度,最终让用户情绪调整到积极状态.结果 通过实验发现,采用单模态交互很难感知到用户的背景信息,因此对用户的情绪识别可能出现误判.而采用多模态的人机交互方式,可以通过文本对话了解用户的背景信息,从而对用户情绪的识别更为合理.在多模态的人机交互剧情中,用户能以更自然的方式实现情景互动,智能体在多模态交互中更能发挥情绪调节作用.结论 本文提出一种基于多模态人机交互的情绪调节方法,该方法不需要昂贵的硬件设备,便于推广普及,为消极情绪的调节提供了一种可计算方案.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘箴		81	465	11.0	18.0
2	刘婷婷		30	81	5.0	7.0
3	柴艳杰		24	136	6.0	11.0
4	张凯乐		1	0	0.0	0.0
5	庄寅		1	0	0.0	0.0