基于LDA模型的大规模文本挖掘算法研究

• 作者: 董薇 庞峰 顾炜江
• 来源期刊: 软件
• 学科: 工学
• 关键词: 主题模型 潜在狄利克雷分布 在线LDA模型 BP信念传播算法 参数估计
• 年，卷（期）: 2020,（12）
• 所属期刊栏目: 基金项目论文
• 页码范围: 58-63
• 页数: 6页
• 分类号: TP39
• 语种: 中文
• DOI: 10.3969/j.issn.1003-6970.2020.12.014

摘要

针对海量文本信息的挖掘与处理是目前文本挖掘领域的一个热点问题,LDA模型是文本挖掘领域中应用广泛的一种主流模型.LDA模型能够通过快速学习和训练,检测出文本集中潜在的主题词.传统算法对速度和内存优化并不明显.文章从几个不同的方面阐述了LDA模型及其扩展模型在处理大规模文本数据时的应用,从参数估计、在线学习和并行优化方面进行了比对,对其中在线模型进行了实验验证,引入狄利克雷参数、BP信念传播算法,在几组数据集上进行了实验,分析其性能.