视听觉跨模态表面材质检索

• 作者: 刘华平 刘卓锟 孙富春 王博文 黄文美
• 来源期刊: 智能系统学报
• 学科: 工学
• 关键词: 跨模态检索 特征提取 典型相关分析 子空间映射 材质分析 卷积神经网络 梅尔频率倒谱系数 欧式距离
• 年，卷（期）: 2019,（3）
• 页码范围: 423-429
• 页数: 7页
• 分类号: TP391
• 字数: 3365字
• 语种: 中文
• DOI: 10.11992/tis.201804030

摘要

针对文本图像特征有时无法满足对物体材质进行真实准确分析的情况,本文在视听领域使用跨模态检索方法进行表面材质检索.首先提取声音的梅尔频率倒谱系数(MFCC)特征,使用卷积神经网络(CNN)提取图像特征,然后利用典型相关分析将两种特征映射到子空间并用欧氏距离进行检索,并在慕尼黑工业大学触觉纹理数据集上进行实验验证,实现了使用声音检索图像的跨模态检索过程.实验结果表明,所提出的方法在材质检索方面有较好应用效果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	孙富春	清华大学智能技术与系统国家重点实验室	116	2389	20.0	47.0
2	刘华平	清华大学智能技术与系统国家重点实验室	57	650	12.0	24.0
3	王博文	河北工业大学省部共建电工装备可靠性与智能化国家重点实验室	86	900	18.0	27.0
4	黄文美	河北工业大学省部共建电工装备可靠性与智能化国家重点实验室	41	443	12.0	20.0
5	刘卓锟	河北工业大学省部共建电工装备可靠性与智能化国家重点实验室	3	2	1.0	1.0