多Agent主题爬虫协作策略的研究与分析

• 作者: 杜亚军
• 来源期刊: 西华大学学报（自然科学版）
• 学科: 工学
• 关键词: 信息获取 主题爬虫 概念背景图 协作与竞争
• 年，卷（期）: 2013,（1）
• 所属期刊栏目: 计算机软件理论、技术与应用
• 页码范围: 31-38,50
• 页数: 9页
• 分类号: TP393.09
• 字数: 11426字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-159X.2013.01.006

摘要

在多个Web主题爬虫并行爬行中,如何避免重复访问网页并高效地获取与主题相关网页,成为搜索引擎主题爬行的热点研究内容之一.为完成系统爬行任务充分发挥每个爬虫自身能力,文章立足于每个爬虫相对独立爬行、共同协作、彼此竞争的思想,将爬虫的历史爬行网页作为背景知识,分析这些网页文本内容,提取网页中“概念”和概念间的语义关系,探讨不同爬虫背景知识之间的语义相似性,提出基于分层概念背景图的爬虫之间理解方法、协作和竞争策略.该策略包括4个方面的内容:主题爬虫背景知识的分层概念背景图的表示模型、基于分层概念背景图的爬虫语义理解方法、在语义理解模型下同组多个网络爬虫之间协作与竞争机制及实现、在语义理解模型下异组多个爬虫之间协作与竞争机制及实现.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	杜亚军	西华大学数学与计算机学院	35	202	7.0	13.0