跨尺度耦合的连续比例因子图像超分辨率

• 作者: 吴瀚霖 李宛谕 张立保
• 来源期刊: 中国图象图形学报
• 学科: 工学
• 关键词: 深度学习 单幅图像超分辨率(SISR) 连续比例因子 跨尺度耦合 跨尺度卷积
• 年，卷（期）: 2022,（5）
• 所属期刊栏目: 图像超分辨|Image super resolution
• 页码范围: 1604-1615
• 页数: 12页
• 分类号: TP391.4
• 语种: 中文

摘要

目的 虽然深度学习技术已大幅提高了图像超分辨率的性能,但是现有方法大多仅考虑了特定的整数比例因子,不能灵活地实现连续比例因子的超分辨率.现有方法通常为每个比例因子训练一次模型,导致耗费很长的训练时间和占用过多的模型存储空间.针对以上问题,本文提出了一种基于跨尺度耦合网络的连续比例因子超分辨率方法.方法 提出一个用于替代传统上采样层的跨尺度耦合上采样模块,用于实现连续比例因子上采样.其次,提出一个跨尺度卷积层,可以在多个尺度上并行提取特征,通过动态地激活和聚合不同尺度的特征来挖掘跨尺度上下文信息,有效提升连续比例因子超分辨率任务的性能.结果 在3个数据集上与最新的超分辨率方法进行比较,在连续比例因子任务中,相比于性能第2的对比算法Meta-SR(meta super-resolution),峰值信噪比提升达0.13 dB,而参数量减少了73％.在整数比例因子任务中,相比于参数量相近的轻量网络SRFBN(super-resolution feedback network),峰值信噪比提升达0.24 dB.同时,提出的算法能够生成视觉效果更加逼真、纹理更加清晰的结果.消融实验证明了所提算法中各个模块的有效性.结论 本文提出的连续比例因子超分辨率模型,仅需要一次训练,就可以在任意比例因子上获得优秀的超分辨率结果.此外,跨尺度耦合上采样模块可以用于替代常用的亚像素层或反卷积层,在实现连续比例因子上采样的同时,保持模型性能.