基于GPU和UNITY的嵌入式图像实时传输方法

• 作者: 王凤瑞 范冲 莫东霖 房骥
• 来源期刊: 测绘与空间地理信息
• 学科: 地球科学
• 关键词: 智能矿山 全景视频 深度图像 实时传输 嵌入式
• 年，卷（期）: 2022,（1）
• 所属期刊栏目: 基金项目专栏|Fund Projects Column
• 页码范围: 25-29
• 页数: 5页
• 分类号: P209
• 语种: 中文
• DOI: 10.3969/j.issn.1672-5867.2022.01.008

摘要

智能化无人矿山对作业现场环境的可视化要求较高,现有的可视化方法仍存在诸多问题:数据采集方式单一,存在监控盲区;数据传输线缆布设困难且易被损坏,传输延时较高;表现形式不够全面立体,并且不能用于VR/AR、SLAM、机器人定位避障等应用场景.为了满足智能矿山建设的可视化需求,本文结合当前传感技术、矿用机器人以及5G技术的发展,探讨了从数据采集、服务器部署到接收显示的详细步骤.针对全景及深度影像这类新型三维数据,提出一种基于GPU和UNITY的嵌入式视频实时传输方法,包括实时编码、异步传输、轻量级的嵌入式流媒体系统、利用UNITY实时处理以及元数据的同步传输.借助UNITY平台,将三维可视化任务从CPU转移至GPU,仿真实验表明,最高渲染帧率为60 fps时,GPU占用率在35％以下.最后,以全景和深度传感器为例进行了测试,对数据编码、位移贴图、纹理纠正进行有效性验证,并从延迟、帧率、CPU占用率3个方面评估性能.结果表明,所提关键技术均可有效提高运行效率、减少资源占用,相比FFplay延时更低.全景影像的可视化代替了视角固定的传统监控,深度数据为智能矿山巡检机器人定位及避障提供实时数据源,传输方法整体向下兼容.不仅解决传统方法视角单一、布线困难的问题,而且考虑到了智能矿山建设过程中的新需求.