基于多层级图像表征的层次化注意力图像描述

• 作者: 吴春雷 王雷全 秦智超 褚晓亮 魏燚伟
• 来源期刊: 中国电子科学研究院学报
• 学科: 工学
• 关键词: 图像描述 层次化注意力 多模态
• 年，卷（期）: 2020,（1）
• 所属期刊栏目: 工程应用
• 页码范围: 63-68
• 页数: 6页
• 分类号: TP391.41
• 字数: 3922字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-5692.2020.01.011

摘要

图像描述是自然语言处理与计算机视觉中的热点研究领域.基于注意力机制与属性的图像描述方法取得了较大的成功.然而,这些方法仅处理单一的视觉特征或者图像属性进行图像描述,忽略了两者之间的内在联系.特别是在基于属性的图像描述方法中,没有考虑检测算法得到的图像属性中所混杂的噪声对图像描述产生的影响.文中提出了基于多层级图像表征的层次化注意力图像描述方法,通过提取图像的低层、中层以及高级的特征表示,在双层LSTM体系结构中利用层次化注意机制融合多层级图像表征进行图像描述.在Microsoft COCO数据集上的实验证明了本文提出的图像描述方法的有效性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	秦智超		18	57	5.0	6.0