基于遗传算法的聚焦爬虫搜索策略

• 作者: 曾广朴 范会联
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 聚焦爬虫 遗传算法 小生境 主题相关度
• 年，卷（期）: 2010,（11）
• 所属期刊栏目: 人工智能及识别技术
• 页码范围: 167-169
• 分类号: TP311.13
• 字数: 4775字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2010.11.060

摘要

为了提高聚焦爬虫的搜索效率,提出一种结合内容评价和链接结构搜索策略的优点并利用小生境遗传算法进行全局寻优的搜索策略.改进遗传算子和小生境遗传算法,将待搜索的网页URL作为遗传个体,采用概率变迁规则和小生境淘汰运算引导搜索方向.实验结果证明,与聚焦爬虫的其他实现技术相比,该策略在抓取主题相关网页时具有更高的查准率和查全率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	范会联	长江师范学院数学与计算机学院	24	148	7.0	11.0
2	曾广朴	长江师范学院数学与计算机学院	17	61	5.0	7.0