基于改进遗传算法的聚焦爬虫设计

• 作者: 曾广朴 李献礼 范会联
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: 聚焦爬虫 爬行控制器 主题相关度 数据抽取
• 年，卷（期）: 2010,（5）
• 所属期刊栏目: 智能信息处理
• 页码范围: 126-129
• 分类号: TP391.3
• 字数: 4279字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2010.05.034

摘要

本文提出以爬行控制器和页面分析过滤器为核心的聚焦爬虫设计方法.从待检索主题出发,在以改进的遗传算法为基础并结合内容评价和链接结构搜索策略优点的爬行策略引导下,以待爬行URL作为遗传个体,基于主题词集的向量空间模型评估个体适应度,引入新的URL实现交叉、变异操作,将具有相同URL前缀的链接按小生境处理.实践证明,该爬虫具有较好的性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	范会联	长江师范学院数学与计算机学院	24	148	7.0	11.0
2	李献礼	长江师范学院网络信息中心	11	58	5.0	7.0
3	曾广朴	长江师范学院数学与计算机学院	17	61	5.0	7.0