开源网络爬虫在垂直搜索引擎应用

• 作者: 刘伟光
• 来源期刊: 智能计算机与应用
• 学科: 工学
• 关键词: 垂直搜索 聚焦爬虫 Heritrix
• 年，卷（期）: 2015,（4）
• 页码范围: 75-77,81
• 页数: 4页
• 分类号: TP393
• 字数: 4251字
• 语种: 中文

摘要

分析了聚焦爬虫的工作原理和关键技术,对几种开源网络爬虫的功能特点和使用范围进行比较,而后通过改造Heritrix软件的关键模块和功能接口,以抓取中国西藏网新闻为例,实现了开源爬虫软件在垂直搜索的应用.