Hadoop-MapReduce下的PageRank矩阵分块算法

• 作者: 李远方 邓世昆 闻玉彪 韩月阳
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: PageRank MapReduce Hadoop 矩阵分块
• 年，卷（期）: 2011,（8）
• 所属期刊栏目: 智能、算法、系统工程
• 页码范围: 6-9,13
• 分类号: TP301.6
• 字数: 3227字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2011.08.002

摘要

PageRank是Web结构挖掘的经典算法,已在Google搜索引擎中取得了巨大成功.但其迭代次数多,时空消耗大,执行速度和收敛速度都还较慢.文中详细讨论了Hadoop-MapReduce的执行流程及其内部实现机制后,提出了一种并行MapReduce实现矩阵分块的PageRank算法,其实质是减少MapReduce框架结构中Map阶段和Reduce阶段的迭代次数,从而减少时空开销.最后搭建Hadoop-MapReduce开源平台,模拟Web结构爬取,比较了传统算法和改进算法的性能.结果表明,改进后的算法迭代次数低,并行效率较高,在模拟环境中PgeRank标识网页等级显示其优越性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	闻玉彪	云南大学信息学院	2	65	2.0	2.0
2	邓世昆	云南大学信息学院	18	145	7.0	12.0
3	李远方	云南大学信息学院	4	99	4.0	4.0
4	韩月阳	云南大学信息学院	3	62	3.0	3.0