引入力触觉的数字文物多模交互方法

• 作者: 朱学芳 祁彬斌
• 来源期刊: 中国图象图形学报
• 学科: 工学
• 关键词: 虚拟现实 触/力觉感知 数字文物 多模态 人机交互
• 年，卷（期）: 2018,（8）
• 所属期刊栏目: 图像分析和识别
• 页码范围: 1218-1230
• 页数: 13页
• 分类号: TP391
• 字数: 12366字
• 语种: 中文
• DOI: 10.11834/jig.170583

摘要

目的 针对当前文物资源由传统的实体文物向虚拟展示和数字文物进行扩展的趋势,如何提供一种多模态的信息呈现方式就显得尤为重要.通过将力触觉技术引入3维文物展示领域,提出一种基于多模感知的3维文物交互式呈现的算法框架.在对文物的基本特征进行视、听、触觉多通道分析的基础上,依据用户与文物模型的接触状态对多通道信息进行计算和整合.方法 在力触觉计算渲染方面,基于嵌入深度构建弹簧系统模拟轮廓形状的接触过程,引入动摩擦和静摩擦因数来反映表面摩擦力这一材质特征,通过法线贴图来实现文物表面纹理的触觉处理;针对交互的环境由2维平面拓展至立体空间,结合力触觉设备将操作时的行为和状态映射为虚拟环境中的操作代理,借助操作代理构建“旋转”和“选择-移动-释放”两种基本的操作范式来实现用户意图;最后,物理引擎的引入将物体的基本运动规律集成至虚拟场景,提升场景交互的真实感.结果 使用Phantom Omni手控器搭建面向馆藏文物的多模感知实验系统,抽取志愿者对实验系统进行测评.实验结果表明:运用本文方法,用户可从视觉、听觉、触觉多个通道对数字文物的整体和细节信息进行感知,且交互的整体过程简单、自然、有效.结论 本文提出的基于多模感知的数字文物交互式呈现方法,可有效实现对各类数字遗产特别是3维文物的多模重现,在保证较高实时性的同时拥有良好的可用性和情感体验效果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	朱学芳	南京大学信息管理学院多媒体信息处理研究所	115	770	15.0	24.0
2	祁彬斌	南京大学信息管理学院多媒体信息处理研究所	11	20	2.0	4.0