一种具有降噪能力的概率主题模型

• 作者: 李晶 秦永彬 黄瑞章
• 来源期刊: 计算机与数字工程
• 学科: 工学
• 关键词: 概率主题模型 隐含狄利克雷分布 吉布斯抽样 降噪
• 年，卷（期）: 2017,（2）
• 所属期刊栏目: 信息处理与网络安全
• 页码范围: 367-372
• 页数: 6页
• 分类号: TP181
• 字数: 5431字
• 语种: 中文
• DOI: 10.3969/j.issn.1672-9722.2017.02.032

摘要

大数据时代的到来使得文本数据的数据量暴增,因此准确而高效地识别和分析文本数据的潜在结构变得越来越重要.要从海量的数据中挖掘模式和知识,需要借助于强大的计算工具,所以机器学习科学家提出了概率主题模型.当前,以隐含狄利克雷分布(LDA)模型为代表的经典概率主题模型已经被广泛地应用到数据挖掘的各个方面.由于LDA模型对区分相似主题的能力非常差,影响了LDA的实际应用性能,为解决这一重要问题,论文基于LDA模型提出了一种名为NRLDA的新模型.考虑到相似主题的文本中存在大量的对区分不同主题没有贡献的噪音词语,在NRLDA中引入了相关变量来区分有用词和噪音词,使噪音词从一个噪音主题的词分布中产生,而有用词从多个特征主题的词分布中产生,从而削弱噪音词所带来的不良影响.此外,我们还使用吉布斯抽样方法对NRLDA的参数进行了推断,这些参数对分析文本数据中潜藏的结构有至关重要的作用.实验结果表明我们的NRLDA模型有较强的区分相似主题的能力,这同时也验证了我们建模思想的正确性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	秦永彬		63	213	8.0	10.0
3	黄瑞章		16	47	4.0	6.0
7	李晶		2	1	1.0	1.0