基于Hadoop平台的TFIDF算法并行化研究

• 作者: 王静宇 赵伟燕
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: 文本分类 MapReduce 并行化 TFIDF算法
• 年，卷（期）: 2014,（6）
• 页码范围: 1018-1022
• 页数: 5页
• 分类号: TP391.1
• 字数: 3302字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2014.06.004

摘要

针对大数据集下文本分类算法在单机上训练和测试过程效率低下的问题,提出了基于Hadoop分布式平台的TFIDF文本分类算法,并给出了算法实现的具体流程.通过MapReduce编程模型实现了考虑到词在文档中位置的并行化TFIDF文本分类算法,并与传统串行算法进行了对比,同时在单机和集群模式下进行了实验.实验表明,使用并行化的TFIDF文本分类算法可实现对海量数据的高速有效分类,并使算法性能得到优化.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王静宇	北京科技大学计算机与通信工程学院	71	281	9.0	14.0
5	赵伟燕	内蒙古科技大学信息工程学院	2	21	2.0	2.0