基于分布式LDA-Spark的微博用户兴趣挖掘

• 作者: 肖诗斌 赵星雷
• 来源期刊: 北京信息科技大学学报（自然科学版）
• 学科: 工学
• 关键词: Spark 分布式框架 潜在狄利克雷分布 微博 主题模型
• 年，卷（期）: 2017,（3）
• 页码范围: 70-74
• 页数: 5页
• 分类号: TP391.1
• 字数: 4214字
• 语种: 中文
• DOI: 10.16508/j.cnki.11-5866/n.2017.03.014

摘要

为了挖掘海量微博数据中潜在的语意信息,通过Gibbs采样方式,并结合Spark分布式计算框架,实现了一种LDA主题模型并行化的算法.该算法针对微博数据的特点,将3层贝叶斯概率模型改为用户-主题-词模型;为了满足LDA的并行化处理需求,采用了一种无冲突的数据分割方法将数据集分成了P×P个数据块,将分割好的数据块重新排序整合成P个子集,保证每个子集中均包含P个数据块,对每个子集进行并行采样.从困惑度、收敛速度及加速比3个方面对改进算法与标准LDA算法进行了对比实验,困惑度2种算法的结果接近;在收敛速度方面,改进算法较标准LDA慢,但在实际应用中对效率没有太大影响;加速比实验中,总词数为100万、work节点为8时,改进算法所用时间是标准LDA的16.78％.实验结果表明,改进算法能得到较为精确的模型,并在大数据环境下可以取得良好的加速效果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	肖诗斌	北京信息科技大学计算机学院	25	475	8.0	21.0
5	赵星雷	北京信息科技大学计算机学院	2	4	1.0	2.0