基于MapReduce的开源代码并行爬取方法研究与实现

• 作者: 曾国荪 马军岩
• 来源期刊: 信息网络安全
• 学科: 工学
• 关键词: 软件工程 源代码搜索 并行爬取 MapReduce 开源代码
• 年，卷（期）: 2018,（1）
• 所属期刊栏目: 技术研究
• 页码范围: 58-66
• 页数: 9页
• 分类号: TP309
• 字数: 6624字
• 语种: 中文
• DOI: 10.3969/j.issn.1671-1122.2018.01.009

摘要

随着互联网上开源代码越来越多,设计程序时寻找和复用已有的开源代码已经成为软件工程的一种趋势.为了快速和精准地搜索开源代码,文章设计了基于MapReduce计算模型的源代码并行爬取方法,并编写代码,实现了源代码并行爬取系统.文章首先分析当前各种开源代码库,选择合适的代码爬取场所和爬取对象,明确并行爬取的工作流程和目标;然后给出源代码并行爬取的Map方法和Reduce方法,基于此设计一套开源代码并行爬取算法;最后利用集群计算环境实现开源代码的并行爬取.实验表明,多机并行搜索源代码与传统方法相比,速度明显提高,且搜索的返回结果可信度更高.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	曾国荪	同济大学计算机科学与技术系	102	1102	17.0	29.0
2	马军岩	同济大学计算机科学与技术系	2	1	1.0	1.0