虚拟场景中环境声源仿真技术综述

• 作者: 程皓楠 张加万
• 来源期刊: 计算机学报
• 学科: 工学
• 关键词: 声源仿真 环境声音 虚拟场景 视听同步 物理建模 信号处理 跨模态
• 年，卷（期）: 2022,（2）
• 页码范围: 369-392
• 页数: 24页
• 分类号: TP391
• 语种: 中文
• DOI: 10.11897/SP.J.1016.2022.00369

摘要

环境声音作为日常生活中分布最为广泛的一类声音,是人们获取外部信息的重要来源.近十几年来,随着用户对虚拟场景真实度要求不断提升,为虚拟场景打造同步、真实的环境音效已成为构建高度沉浸式虚拟环境不可或缺的一部分.其中环境声源仿真作为打造真实感虚拟环境音效的基石,得到了研究人员的广泛关注与探索.与传统的人工声源仿真相比,通过算法程序合成具有高真实感的环境声音,不仅可以实现随用户视角变化而变化的交互式声音效果,提升游戏、动画和虚拟现实等虚拟场景的用户沉浸感,而且也避免了繁杂的调音、剪辑等工作,极大地降低了人力资源的消耗.本文对应用于虚拟场景中的环境声源仿真方法进行分类和总结,从研究背景、应用领域、基本原理、技术手段等多个角度做了比较全面的综述.首先讨论了环境声源仿真的理论研究价值和应用前景,概述了这一个多学科融合的研究领域.然后,从不同声音模型的基本原理出发,分析了物理声学模型与心理声学模型对于环境声源仿真方法设计、研究内容等方面产生的影响.其次,依据声源模型构造策略不同,从基于物理模型、基于信号模型、基于混合模型以及基于深度学习模型这四大类对现有环境声源仿真方法进行分析,分别讨论了基于每一类模型的环境声源仿真方法的发展趋势、技术创新性与局限性.最后,从算法输入参数、算法效率、仿真结果质量等方面横向比较了不同类别方法的优势与劣势,总结了现有环境声源仿真领域所面临的主要问题与挑战,并对未来研究方向进行了展望.