基于多模态融合技术的用户画像方法

• 作者: 冯小年 张壮 钱铁云
• 来源期刊: 北京大学学报（自然科学版）
• 关键词: 用户画像 模型组合 stacking 跨模态学习联合表示 多层多级模型融合
• 年，卷（期）: 2020,（1）
• 所属期刊栏目: 专题报道:面向人工智能的自然语言分析与理解
• 页码范围: 105-111
• 页数: 7页
• 字数: 6152字
• 语种: 中文
• DOI: 10.13209/j.0479-8023.2019.097

摘要

针对当前用户画像工作中各模态信息不能被充分利用的问题,提出一种跨模态学习思想,设计一种基于多模态融合的用户画像模型.首先利用Stacking集成方法,融合多种跨模态学习联合表示网络,对相应的模型组合进行学习,然后引入注意力机制,使得模型能够学习不同模态的表示对预测结果的贡献差异性.改进后的模型具有精心设计的网络结构和目标函数,能够生成一个由特征级融合和决策级融合组成的联合特征表示,从而可以合并不同模态的相关特征.在真实数据集上的实验结果表明,所提模型优于当前最好的基线方法.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	钱铁云	武汉大学计算机学院	14	65	5.0	7.0
2	冯小年		5	38	3.0	5.0
3	张壮	武汉大学计算机学院	1	0	0.0	0.0