基于Spark框架的政府公文聚类方法研究

• 作者: 徐亚军 朱家麒
• 来源期刊: 电脑知识与技术:学术版
• 学科: 工学
• 关键词: SPARK 公文聚类 TF-IDF K-MEANS
• 年，卷（期）: 2020,（1）
• 页码范围: 210-212
• 页数: 3页
• 分类号: TP311

摘要

政府网站中的政府公文数目巨大,对政府公文进行快速有效的分类,可以提供更好的用户体验。本文提出基于spark分布式计算框架采用K-means算法对政府公文进行分类的方法。首先从政府网站爬取足量的政府公文数据,对其进行数据预处理,再通过TF-IDF将处理后的政府文本信息转换成二维矩阵,然后在Spark计算框架中使用K-means算计进行聚类。最后分别在单机和使用spark框架的分布式计算环境下进行测试,三组实验结果表明,使用spark分布式计算框架进行聚类有着更高的计算效率。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	朱家麒	北京信息科技大学计算机学院	2	0	0.0	0.0
2	徐亚军	北京信息科技大学计算机学院	2	0	0.0	0.0