基于生成对抗双网络的虚拟到真实驾驶场景的视频翻译模型

• 作者: 刘士豪 姜博厚 孔力 张若晗 胡学敏
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: 虚拟到真实 视频翻译 生成对抗网络 光流网络 驾驶场景
• 年，卷（期）: 2020,（6）
• 所属期刊栏目: 人工智能
• 页码范围: 1621-1626
• 页数: 6页
• 分类号: TP391.4
• 字数: 6732字
• 语种: 中文
• DOI: 10.11772/j.issn.1001-9081.2019101802

摘要

针对虚拟到真实驾驶场景翻译中成对的数据样本缺乏以及前后帧不一致等问题,提出一种基于生成对抗网络的视频翻译模型.为解决数据样本缺乏问题,模型采取"双网络"架构,将语义分割场景作为中间过渡分别构建前、后端网络.在前端网络中,采用卷积和反卷积框架,并利用光流网络提取前后帧的动态信息,实现从虚拟场景到语义分割场景的连续的视频翻译;在后端网络中,采用条件生成对抗网络框架,设计生成器、图像判别器和视频判别器,并结合光流网络,实现从语义分割场景到真实场景的连续的视频翻译.实验利用从自动驾驶模拟器采集的数据与公开数据集进行训练和测试,在多种驾驶场景中能够实现虚拟到真实场景的翻译,翻译效果明显好于对比算法.结果表明,所提模型能够有效解决前后帧不连续和动态目标模糊的问题,使翻译的视频更为流畅,并且能适应多种复杂的驾驶场景.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	胡学敏	湖北大学计算机与信息工程学院	18	77	4.0	8.0
2	张若晗	湖北大学计算机与信息工程学院	4	3	1.0	1.0
3	孔力	湖北大学计算机与信息工程学院	2	0	0.0	0.0
4	刘士豪	湖北大学计算机与信息工程学院	5	1	1.0	1.0
5	姜博厚	湖北大学计算机与信息工程学院	6	1	1.0	1.0