基于MapReduce的并行LAD模型评论主题提取算法研究

• 作者: 张伯虎 薛行贵 高见文 黄立勤
• 来源期刊: 福州大学学报（自然科学版）
• 学科: 工学
• 关键词: LAD模型 MapReduce 评论主题 k-均值聚类算法
• 年，卷（期）: 2016,（5）
• 页码范围: 644-648
• 页数: 5页
• 分类号: TP391.1
• 字数: 3280字
• 语种: 中文
• DOI: 10.7631/issn.1000-2243.2016.05.0644

摘要

针对传统的潜在狄利克雷分析(LDA)模型在提取评论主题时存在着计算时间长、计算效率低的问题,提出基于MapReduce架构的并行LAD模型建立方法.在文本预处理的基础上,得到文档-主题分布和主题-特征词分布,分别计算主题相似度和特征词权重,结合k-均值聚类算法,实现评论主题提取的并行化.通过Hadoop并行计算平台进行实验,结果表明,该方法在处理大规模文本时能获得接近线性的加速比,对主题模型的建立效果也有提高.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	黄立勤	福州大学物理与信息工程学院	40	90	5.0	8.0