基于全局-局部特征和自适应注意力机制的图像语义描述算法

• 作者: 尹良飞 赵小虎 赵成龙
• 来源期刊: 浙江大学学报（工学版）
• 学科: 工学
• 关键词: 图像语义描述 图像关注点 高层语义信息 描述句子细节 全局-局部特征提取 自适应注意力机制
• 年，卷（期）: 2020,（1）
• 所属期刊栏目: 计算机技术、信息工程
• 页码范围: 126-134
• 页数: 9页
• 分类号: TP391
• 字数: 4821字
• 语种: 中文
• DOI: 10.3785/j.issn.1008-973X.2020.01.015

摘要

为了探究图像底层视觉特征与高层语义概念存在的差异,提出可以确定图像关注重点、挖掘更高层语义信息以及完善描述句子的细节信息的图像语义描述算法.在图像视觉特征提取时提取输入图像的全局-局部特征作为视觉信息输入,确定不同时刻对图像的关注点,对图像细节的描述更加完善;在解码时加入注意力机制对图像特征加权输入,可以自适应选择当前时刻输出的文本单词对视觉信息与语义信息的依赖权重,有效地提高对图像语义描述的性能.实验结果表明,该方法相对于其他语义描述算法效果更有竞争力,可以更准确、更细致地识别图片中的物体,对输入图像进行更全面地描述;对于微小的物体的识别准确率更高.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	赵小虎	中国矿业大学矿山互联网应用技术国家地方联合工程实验室	17	190	4.0	13.0
5	尹良飞	中国矿业大学矿山互联网应用技术国家地方联合工程实验室	1	0	0.0	0.0
9	赵成龙	中国矿业大学矿山互联网应用技术国家地方联合工程实验室	1	0	0.0	0.0