基于Heritrix的面向电子商务网站增量爬虫研究

• 作者: 杨颂 欧阳柳波
• 来源期刊: 软件导刊
• 学科: 工学
• 关键词: Heritrix 增量抓取 爬行策略 电子商务
• 年，卷（期）: 2010,（7）
• 页码范围: 38-39
• 分类号: TP393
• 字数: 1956字
• 语种: 中文

摘要

针对电子商务网站的特点,基于Heritrix开源爬虫系统,结合电子商务网站的特点,提出了面向电子商务网站的增量爬行策略.并在开源爬虫系统Heritrix上进行了实现,增加了面向电子商务网站商品页面的抽取功能,以及增量抓取功能设计.通过对电子商务网站的抓取实验,表明该增量爬行策略的设计能够有效提取电子商务网站上的商品信息.并实现了增量抓取.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	杨颂	湖南大学软件学院	1	14	1.0	1.0
2	欧阳柳波	湖南大学软件学院	34	560	11.0	23.0