基于Hadoop平台的LDA算法的并行化实现

• 作者: 张新峰 张钊 贵明俊 郑楠
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: Hadoop MapReduce LDA主题模型 Gibbs 中文分词 并行计算
• 年，卷（期）: 2016,（2）
• 所属期刊栏目: 高性能计算
• 页码范围: 231-239
• 页数: 9页
• 分类号: TP181
• 字数: 6244字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2016.02.006

摘要

随着互联网的飞速发展,需要处理的数据量不断增加,在互联网数据挖掘领域中传统的单机文本聚类算法无法满足海量数据处理的要求,针对在单机情况下,传统LDA算法无法分析处理大规模语料集的问题,提出基于MapReduce计算框架,采用Gibbs抽样方法的并行化LDA主题模型的建立方法.利用分布式计算框架MapReduce研究了LDA主题模型的并行化实现,并且考察了该并行计算程序的计算性能.通过对Hadoop并行计算与单机计算进行实验对比,发现该方法在处理大规模语料时,能够较大地提升算法的运行速度,并且随着集群节点数的增加,在加速比方面也有较好的表现.基于Hadoop平台并行化地实现LDA算法具有可行性,解决了单机无法分析大规模语料集中潜藏主题信息的问题.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张新峰	北京工业大学电子信息与控制工程学院	50	1027	14.0	31.0
4	贵明俊	北京工业大学电子信息与控制工程学院	3	14	2.0	3.0
5	张钊	北京工业大学电子信息与控制工程学院	2	11	2.0	2.0
20	郑楠	北京工业大学电子信息与控制工程学院	1	9	1.0	1.0