融合语义知识的深度表达学习及在视觉理解中的应用

• 作者: 吴恙 张瑞茂 彭杰锋 林倞
• 来源期刊: 计算机研究与发展
• 学科: 工学
• 关键词: 深度学习 神经网络 语义嵌入 场景解析 相似性检索
• 年，卷（期）: 2017,（6）
• 所属期刊栏目: 优青专题
• 页码范围: 1251-1266
• 页数: 16页
• 分类号: TP391.41
• 字数: 11080字
• 语种: 中文
• DOI: 10.7544/issn1000-1239.2017.20171064

摘要

近几年来,随着深度学习技术的日趋完善,传统的计算机视觉任务得到了前所未有的发展.如何将传统视觉研究中的领域知识融入到深度模型中提升深度模型的视觉表达能力,从而应对更为复杂的视觉任务,成为了学术界广泛关注的问题.鉴于此,以融合了语义知识的深度表达学习为主线展开了一系列研究.取得的主要创新成果包括3个方面:1)研究了将单类型的语义信息(类别相似性)融入到深度特征的学习中,提出了嵌入正则化语义关联的深度Hash学习方法,并将其应用于图像的相似性比对与检索问题中,取得了较大的性能提升;2)研究了将多类型信息(多重上下文信息)融入到深度特征的学习中,提出了基于长短期记忆神经网络的场景上下文学习方法,并将其应用于复杂场景的几何属性分析问题中;3)研究了将视觉数据的结构化语义配置融入到深度表达的学习中,提出了融合语法知识的表达学习方法,并将其应用到复杂场景下的通用内容解析问题中.相关的实验结果表明:该方法能有效地对场景的结构化配置进行预测.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张瑞茂	中山大学数据科学与计算机学院	2	5	1.0	2.0
2	彭杰锋	中山大学数据科学与计算机学院	1	4	1.0	1.0
3	吴恙	中山大学数据科学与计算机学院	1	4	1.0	1.0
4	林倞	中山大学数据科学与计算机学院	3	6	1.0	2.0