基于Heritrix的商品信息搜索的网络爬虫系统的设计

• 作者: 袁小洁
• 来源期刊: 电脑编程技巧与维护
• 关键词: Heritrix 网络爬虫 爬虫 商品信息采集
• 年，卷（期）: 2012,（22）
• 所属期刊栏目: 网络与通信
• 页码范围: 74,81
• 页数: 2页
• 字数: 1308字
• 语种: 中文

摘要

探讨以开源软件Heritrix体系构建的获取商品信息爬虫系统,针对Heritrix开源爬虫项目存在的问题和商品采集的特点,项目设计了定向抓取包含某一特定内容的网页的类,从而改进Heritrix,并引入ELFHash算法进行URL散列中,以提高抓取效率,为面向商品的搜索系统以及数据挖掘提供可靠的数据源.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	袁小洁	贵州大学计算机科学与信息学院	5	9	2.0	2.0