Spark平台下的高效Web文本分类系统的研究

• 作者: 刘斌 李涛
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: KNN TFIDF 文本分类 Hadoop Spark
• 年，卷（期）: 2016,（11）
• 所属期刊栏目: 数据工程
• 页码范围: 33-36
• 页数: 4页
• 分类号: TP391.1
• 字数: 4381字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2016.11.008

摘要

针对 KNN 分类算法在面对海量 Web 文本处理情况时在单机上训练和测试效率低下的问题，提出基于 Hadoop 分布式平台以及 Spark 并行计算模型的无中间结果输出的改进型 Web 文本分类系统。同时为了充分利用 Spark 的迭代计算能力，在文本向量化阶段，在传统 TFIDF 文本特征加权算法的基础上充分考虑特征项在类内和类间的信息分布，提出一种改进的特征加权算法。实验结果表明，该文本分类系统结合 Spark 计算模型在提高文本预处理、文本向量化以及 KNN 文本分类算法的性能上有着优异的表现。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘斌	南京工业大学计算机科学与技术学院	28	203	7.0	13.0
2	李涛	南京工业大学计算机科学与技术学院	29	95	7.0	8.0