基于注意力机制和编码-解码架构的施工场景图像描述方法

• 作者: 农元君 王俊杰 陈红 孙文涵 耿慧 李书悦
• 来源期刊: 浙江大学学报（工学版）
• 学科: 工学
• 关键词: 图像描述 施工场景 注意力机制 编码 解码
• 年，卷（期）: 2022,（2）
• 所属期刊栏目: 计算机与控制工程|Computer and Control Engineering
• 页码范围: 236-244
• 页数: 9页
• 分类号: TP391
• 语种: 中文
• DOI: 10.3785/j.issn.1008-973X.2022.02.003

摘要

为了实现在光线不佳、夜间施工、远距离密集小目标等复杂施工场景下的图像描述,提出基于注意力机制和编码-解码架构的施工场景图像描述方法.采用卷积神经网络构建编码器,提取施工图像中丰富的视觉特征;利用长短时记忆网络搭建解码器,捕捉句子内部单词之间的语义特征,学习图像特征与单词语义特征之间的映射关系;引入注意力机制,关注显著性强的特征,抑制非显著性特征,减少噪声信息的干扰.为了验证所提方法的有效性,构建一个包含10种常见施工场景的图像描述数据集.实验结果表明,所提方法取得了较高的精度,在光线不佳、夜间施工、远距离密集小目标等复杂施工场景下具有良好的图像描述性能,且具有较强的泛化性和适应性.