基于市场匹配的多Agent智能爬虫系统

• 作者: 刘佳 杜亚军
• 来源期刊: 西华大学学报（自然科学版）
• 学科: 工学
• 关键词: 市场匹配算法 多Agent 智能爬虫
• 年，卷（期）: 2016,（1）
• 所属期刊栏目: 计算机软件理论、技术与应用
• 页码范围: 67-72
• 页数: 6页
• 分类号: TP393.09
• 字数: 3307字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-159X.2016.01.014

摘要

在网络文字、图像视频、音频数量日益增长的网络世界中,网络爬虫爬取结果变得越来越差,主要表现在爬取网页的精确率低、召回率低和重复率高等方面. 为解决这些问题,结合市场匹配基本原理和网络爬虫的特点,提出一种基于市场匹配算法的多Agent智能爬虫系统. 基于市场匹配算法,设计了多Agent智能爬虫系统,以雅虎一级目录12个主题为测试数据对网络爬虫爬取网页的精确率、召回率和重复率进行了分析. 结果表明,与未使用市场匹配算法的系统相比较,基于市场匹配算法的多Agent智能爬虫系统的精确率提高了9%、召回率提高了8%、重复率降低了5%,其爬虫性能有较大改善.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	杜亚军	西华大学计算机与软件工程学院	35	202	7.0	13.0
2	刘佳	西华大学计算机与软件工程学院	25	129	6.0	10.0