视觉问答中问题处理算法研究

• 作者: 徐胜 祝永新
• 来源期刊: 计算机科学
• 学科: 工学
• 关键词: 视觉问答 自然语言处理 卷积神经网络 长短期记忆网络 词嵌入
• 年，卷（期）: 2020,（11）
• 所属期刊栏目: 人工智能
• 页码范围: 226-230
• 页数: 5页
• 分类号: TP391
• 语种: 中文
• DOI: 10.11896/jsjkx.191200015

摘要

当前对视觉问答(Visual Question Answering,VQA)建模的研究多种多样,但现有的VQA模型有一个共同的缺点:训练和推理较为耗时.研究表明,VQA模型中文本处理部分主要基于长短期记忆网络(Long Short Term Memory,LSTM),而VQA模型的整体性能也受制于文本处理部分的LSTM网络,由于LSTM网络具有循环的特性,LSTM网络中复杂的数据流难以有效利用GPU的并行计算优势来加速计算.针对以上问题,以优化模型的训练速度为目的,提出了一个新模型SCMP(Sim-ple Conv1d MaxPool1d)来代替LSTM网络处理输入模型的自然语言文本.在VQA2.0数据集上的实验结果表明,该模型与现有的模型相比训练速度提高了10倍,并且没有对VQA模型的精度造成损失.此外,文中提出了一种新颖的方法来对VQA2.0数据集中的文本数据进行数据增强.实验结果表明,数据增强可以提高VQA模型的精度,同时加速模型收敛,使用增强后的数据训练的模型(SCMP)在验证集上的评估分数为63.46％,优于目前现存的VQA模型.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	徐胜	中国科学院上海高等研究院	25	459	14.0	21.0
2	祝永新	中国科学院大学	8	15	2.0	3.0