基于Chrome扩展的爬虫系统设计与实现

• 作者: 夏小玲 魏少鹏
• 来源期刊: 软件导刊
• 学科: 工学
• 关键词: 爬虫系统 Chrome扩展 Netty
• 年，卷（期）: 2016,（3）
• 所属期刊栏目: 软件设计与开发
• 页码范围: 76-80
• 页数: 5页
• 分类号: TP319
• 字数: 378字
• 语种: 中文
• DOI: 10.11907/rjdk.1511495

摘要

为了提高网页数据抓取效率，降低爬虫对系统资源的消耗，提出了一种基于Chrome扩展的爬虫系统。利用Chrome浏览器对网页进行解析，防止被爬取对象屏蔽和网页异步加载问题，并且实现数据结构化；通过选择普通用户版扩展和服务器版扩展，既可以实现无人值守主动抓取，也可以在用户浏览网页的同时抓取信息。整个系统前后端分离，并且采用面向接口编程，具有良好的扩展性。通过从搜达足球网站抓取英超赛程，验证了程序的高效可行性。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	夏小玲	东华大学计算机科学与技术学院	42	251	9.0	14.0
2	魏少鹏	东华大学计算机科学与技术学院	1	3	1.0	1.0