基于移动代理的MAISE爬虫的设计与实现

• 作者: 周利兵 石柯 陶文兵
• 来源期刊: 华中科技大学学报（自然科学版）
• 学科: 工学
• 关键词: 搜索引擎 网络爬虫 移动代理 并行化搜索
• 年，卷（期）: 2005,（z1）
• 所属期刊栏目: 数据库与信息检索
• 页码范围: 226-228,246
• 页数: 4页
• 分类号: TP393
• 字数: 2723字
• 语种: 中文
• DOI: 10.3321/j.issn:1671-4512.2005.z1.063

摘要

提出了一种基于移动代理的图像搜索引擎(MAISE,Mobile Agent based Image Search Engine)的爬虫系统,系统中爬虫代理运行在远程Web服务器上,它将集中在服务器端的任务如:特征提取、建立索引等分散到远程的Web服务器上并行运行,而且代理个数是可控的,最后将少量的数据回传到服务器端,这不仅提高了效率而且减小了网络传输量.最后对MAISE爬虫系统进行了测试,实验结果表明,MAISE爬虫的网络数据传输量和爬行时间等指标上均优于传统爬虫.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陶文兵	华中科技大学计算机科学与技术学院	20	404	9.0	20.0
2	石柯	华中科技大学计算机科学与技术学院	36	375	11.0	18.0
3	周利兵	华中科技大学计算机科学与技术学院	1	4	1.0	1.0