基于MapReduce的并行PageRank算法实现

• 作者: 向阳 平宇 张波 黄寅飞
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 搜索引擎 PageRank 算法 MapReduce 框架 并行计算 Hadoop 平台
• 年，卷（期）: 2014,（2）
• 所属期刊栏目: 先进计算与数据处理
• 页码范围: 31-34,38
• 页数: 5页
• 分类号: TP391.3
• 字数: 3510字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2014.02.007

摘要

分布式网络爬虫的广泛应用使得搜索引擎的数据规模呈几何式增长，面对数以 TB 甚至 PB 量级的数据，单机模式下的PageRank 算法由于 CPU、I/O 和内存的开销过大导致效率低下。为此，提出一种基于 MapReduce 框架的并行 PageRank 算法。在算法的一次迭代过程中，利用 Map 函数对网页拓扑信息文件进行解析，使用 Reduce 函数计算网页得分，从而并行化 PageRank 算法的中间迭代过程。通过计算全局网页得分控制迭代次数，得到较精确的网页排序结果。实验结果表明，该算法在保持原有单机PageRank 算法整体网页排序精度的基础上，具有较好的集群性能和较快的执行速度。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	向阳	同济大学计算机科学与技术系	88	1316	16.0	34.0
2	黄寅飞		7	44	3.0	6.0
3	张波	上海师范大学信息与机电工程学院	28	148	7.0	11.0
4	平宇	同济大学计算机科学与技术系	2	36	2.0	2.0