融合自注意力机制的跨模态食谱检索方法

• 作者: 初旭 林阳 毛维嘉 王亚沙 赵俊峰
• 来源期刊: 计算机科学与探索
• 学科: 工学
• 关键词: 饮食记录 食谱检索 自注意力机制 跨模态 深度神经网络
• 年，卷（期）: 2020,（9）
• 所属期刊栏目: 学术研究
• 页码范围: 1471-1481
• 页数: 11页
• 分类号: TP391.3
• 字数: 8181字
• 语种: 中文
• DOI: 10.3778/j.issn.1673-9418.1912016

摘要

饮食记录是饮食管理的关键环节.为了简化记录过程,研究者提出了基于食物图片的食谱检索技术,通过拍摄的图片检索到对应食谱,并据此生成营养信息,从而提高了记录的便捷性.食谱检索是典型的跨模态检索问题,但与一般问题相比,其主要难点是食谱描述了从原材料到成品的一系列变化过程,而非直接可见的特征,因此模型需要深入理解原材料的处理过程.而当前食谱检索研究工作采用线性方式处理文本,导致其捕捉食谱处理过程中的远距离依赖现象的能力较差.针对这个问题,设计了一种基于自注意力机制的跨模态食谱检索模型.该模型借助Transformer模型中的自注意力机制,捕捉食谱中远距离的依赖关系,同时改进了传统方法中的注意力机制,可以更好地挖掘食谱中的语义.实验结果表明,该模型在食谱检索任务的召回率上比基线方法提高了22％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王亚沙		17	120	6.0	10.0
3	赵俊峰		3	9	2.0	3.0
4	初旭		4	3	1.0	1.0
6	林阳		5	6	1.0	2.0
14	毛维嘉		1	0	0.0	0.0