注意力机制的曲面沉浸式投影系统补偿

• 作者: 雷清桦 杨婷 程鹏
• 来源期刊: 中国图象图形学报
• 学科: 工学
• 关键词: 沉浸式投影系统 互反射补偿 深度学习 注意力机制 虚拟现实
• 年，卷（期）: 2022,（4）
• 所属期刊栏目: 虚拟现实与增强现实|Virtual Reality and Augmented Reality
• 页码范围: 1238-1250
• 页数: 13页
• 分类号: TP391.41
• 语种: 中文

摘要

目的 沉浸式投影系统已广泛运用于虚拟现实系统之中,然而沉浸式投影系统中的互反射现象严重影响着虚拟现实系统的落地使用.沉浸式投影系统的互反射是指由于投影机光线和屏幕反射光线相互叠加造成的亮度冗余现象,严重影响了投影系统的成像质量和人眼的视觉感受.为此,本文提出一种新的基于互反射通道(inter-reflection channel,IRC)先验和注意力机制的神经网络.方法 IRC先验基于这样一个事实,即大多数受到互反射影响的投影图像都包含一些亮度较高的区域.高亮度区域往往受互反射影响更为严重,而低亮度区域受互反射影响程度较低.根据这一规律,采用IRC先验作为注意力图的监督样本,获取补偿图像的亮度区域信息.同时,为了对投影图像不同区域按影响程度进行差异化补偿,提出一种新的由两个相同子网络构成的补偿网络结构Pair-Net.结果 实验对比了4种现有方法,Pair-Net在ROI(region of interesting)指标分析上取得了明显优势,在人眼感受上有显著的效果提升.结论 本文提出的基于注意力机制的网络模型能够针对不同区域进行差异化补偿,很大程度上消除了互反射影响,提升了沉浸式投影系统的成像质量.