基于DMA与特征划分的多源文本主题模型

• 作者: 许伟佳 秦永彬 黄瑞章 陈艳平
• 来源期刊: 计算机工程
• 关键词: 多源文本主题模型 文本聚类 狄利克雷多项分配 特征划分 Gibbs采样
• 年，卷（期）: 2021,（7）
• 所属期刊栏目: 人工智能与模式识别|Artificial Intelligence and Pattern Recognition
• 页码范围: 59-66
• 页数: 8页
• 分类号: TP391.1
• 语种: 中文
• DOI: 10.19678/j.issn.1000-3428.0058372

摘要

针对传统主题模型在挖掘多源文本数据集信息时存在主题发现效果不佳的问题,设计一种基于狄利克雷多项式分配(DMA)与特征划分的多源文本主题模型.以DMA模型为基础,放宽对预先输入的主题数量的限制,为每个数据源分配专有的主题分布参数,使用Gibbs采样算法估计每个数据源的主题数量.同时,对每个数据源分配专有的噪音词分布参数以及主题-词分布参数,采用特征划分方法区分每个数据源的特征词和噪音词,并学习每个数据源的用词特征,避免噪音词集对模型聚类的干扰.实验结果表明,与传统主题模型相比,该模型能够保留每个数据源特有的词特征,具有更好的主题发现效果及鲁棒性.