深度学习驱动的跨模态数据检索

• 作者: 王宏志 燕钰
• 来源期刊: 哈尔滨理工大学学报
• 关键词: 跨模态 数据检索 深度学习 人工卷积神经网络 感知机
• 年，卷（期）: 2021,（1）
• 所属期刊栏目: 计算机与控制工程|Computer and Control Engineering
• 页码范围: 9-16
• 页数: 8页
• 分类号: TP311
• 语种: 中文
• DOI: 10.15938/j.jhust.2021.01.002

摘要

针对大数据下跨模态数据检索效率低下的问题,该论文深入研究了深度学习理论,采用了人工卷积神经网络模型和感知机模型,提出了一种深度学习驱动的跨模态数据检索模型并基于开源深度框架进行了完备的对比试验.该检索模型利用深度学习强大的学习和表征能力,其由图像特征提取子网、文本特征提取子网、哈希码学习子网组成;并依据条件熵和交叉熵的概念提出了多标签相似度度量方法和模型训练方法.该文用神经网络的方法进行特征提取,较之手工特征方法检索正确率提高了10％左右.