基于MapReduce并行计算提取文档特征Textrank算法研究

• 作者: 孙龙 李彦
• 来源期刊: 现代信息科技
• 学科: 工学
• 关键词: MapReduce Textrank 文档特征提取
• 年，卷（期）: 2018,（10）
• 所属期刊栏目: 计算机技术
• 页码范围: 80-83
• 页数: 4页
• 分类号: TP391.1
• 字数: 3198字
• 语种: 中文
• DOI: 10.3969/j.issn.2096-4706.2018.10.030

摘要

Textrank相比词袋模型有独特的优势,但需要进行多轮迭代和递归运算,常规串行化算法无法满足大数据环境下文档处理的需求.必须借助大数据的分布式处理、并行化计算技术来应对这一挑战.本文学习研究了大数据平台Hadoop的分布式处理方式,并在MapReduce框架下实现并行了Textrank并行提取文档特征的算法.同时,本文就Textrank中关键的投票算法提出了MapReduce迭代实现.经在Hadoop集群上验证,在计算节点增加的情况下,该模式可有效提升Textrank算法效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李彦	四川大学制造科学与工程学院	131	1426	21.0	31.0
2	孙龙	四川大学计算机学院	13	107	4.0	10.0