基于张量分解的分布式主题分类模型

• 作者: 卞艺杰 唐明伟 马年圣
• 来源期刊: 计算机系统应用
• 关键词: LDA主题模型 张量分解 Spark 数据分类
• 年，卷（期）: 2018,（6）
• 所属期刊栏目: 软件技术·算法
• 页码范围: 151-157
• 页数: 7页
• 字数: 6742字
• 语种: 中文
• DOI: 10.15888/j.cnki.csa.006394

摘要

针对大规模数据分类时计算时间长以及分类精度下降等问题, 提出使用张量分解求解LDA主题模型参数,实现对海量网络数据的采集、分类、挖掘. 该方法使用矩量法将LDA模型求解转化为低维的张量分解问题, 通过分解和反射进行参数的传递, 运用大数据平台Spark的进行分布式计算. 实验结果表明, 改进的模型参数计算方法在时间效率和困惑度方面都得到了提升, 并且分类信息更加直观, 更加适用于大规模网络数据分类工作.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	卞艺杰	河海大学商学院	125	994	16.0	24.0
2	唐明伟	南京审计大学管理科学与工程学院	12	65	5.0	7.0
3	马年圣	河海大学商学院	2	14	1.0	2.0