多模态交互中的目标选择技术

• 作者: 周小舟 宗承龙 郭一冰 贾乐松 杜晓茜 薛澄岐
• 来源期刊: 包装工程
• 学科: 工学
• 关键词: 多模态交互 目标选择技术 自然交互 交互意图
• 年，卷（期）: 2022,（4）
• 所属期刊栏目: 专题:工业系统的智能交互模式、人因工效及信息可视化|Special Subject: Human Factor Performance, Intelligent Interaction and Information Visualization in Industrial Systems
• 页码范围: 36-44
• 页数: 9页
• 分类号: TB472
• 语种: 中文
• DOI: 10.19554/j.cnki.1001-3563.2022.04.004

摘要

目的 伴随着各类传感器、计算机识别算法与计算机网络的发展,人机交互已不再拘泥于应用键盘、鼠标等传统输入模态,而是进一步拓展为应用人的多种行为模态.方法 多模态交互可以捕获多个模态下人的显性行为信息,组合并分辨多个模态信息的不同形式,现已应用在虚拟现实、增强现实、混合现实、遥操作、普适交互等场景下,可以优化这些场景下的人机交互.在自然交互中,多点触摸、自然语音、手势体感、眼动追踪是常用的交互模态,展现出了较优的效果.而多模态交互技术按照选择、相继、并发和互补的方式组合两个及以上的输入模式,借助多种非侵入式的传感器,识别天然形成的人类语言和行为.该技术的核心是基于各种传感器所捕获的多模态信息来预测人的交互意图,提升机器对人的行为理解,这可以很好地应用到目标选择任务之中.结论 在人机交互系统中,目标选择任务是一种基础任务,已经有菲兹定律模型、优化初始脉冲模型和层叠效应模型等行为模型在多个模态交互下对其进行了描述,这些理论都有助于开发多模态交互技术.综上所述,对多模态交互的目标选择技术研究可以有效地推动人机交互向自然交互迈进.