采用Transformer的行为及交互角色识别

• 作者: 邹婷
• 来源期刊: 现代计算机
• 关键词: 行为识别 场景识别 静态图像
• 年，卷（期）: 2021,（21）
• 所属期刊栏目: 图形图像|Graphic and Image
• 页码范围: 123-127
• 页数: 5页
• 语种: 中文
• DOI: 10.3969/j.issn.1007-1423.2021.21.023

摘要

场景识别作为较高层次的视觉语义理解任务,一直是图像理解领域的研究热点,其中行为及角色交互识别问题最近几年被提出,该任务的主要研究内容为对真实场景下静态图像中呈现的人类视觉行为进行分析理解,完成分类的同时考虑行为的角色交互.实验提出利用Transformer结构及其attention机制,在通过CNN提取图像特征后,将其特征作为Transformer的输入以捕获行为以及交互角色之间的相关性关系.实验表明,该结构可用于解决当前问题,与现有方法比较取得较好效果.