基于在线增量学习的自适应聚焦爬虫研究

• 作者: 张长利 曾大军 朱婷 滕桂法 陆浩
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: 在线增量学习 TopicalRank 聚焦爬虫 农业领域
• 年，卷（期）: 2009,（5）
• 所属期刊栏目: 基金项目论文
• 页码范围: 25-27,33
• 页数: 4页
• 分类号: TP3
• 字数: 4574字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386X.2009.05.009

摘要

在原始分类器聚焦爬虫的基础上设计并实现在线增量学习的自适应聚焦爬虫.该聚焦爬虫包括一个基础网页分类器和一个在线增量学习自适应链接分类器.基础页面分类器根据领域知识对抓取到的页面内容主题相关性进行分类.在线增量学习自适应链接分类器能即时根据爬虫爬得网页和网页链接信息作出分类模型调整以更合理方式计算链接的主题相关度.系统中链接排序模块采用TopicalRank主题相关度计算方法分析链接优先抓取顺序.把基于增量学习的自适应聚焦爬虫应用到农业领域,实验结果和分析证明在线增量学习的自适应聚焦爬虫在农业领域爬行性能比仅基于网页相关性和链接重要度的原始分类器聚焦爬虫具有更好的性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	滕桂法	河北农业大学信息科学与技术学院	82	386	11.0	15.0
2	朱婷	河北农业大学信息科学与技术学院	2	11	2.0	2.0
6	陆浩	中科院自动化所复杂系统与智能科学实验室	1	8	1.0	1.0
7	张长利	中科院自动化所复杂系统与智能科学实验室	1	8	1.0	1.0
8	曾大军	中科院自动化所复杂系统与智能科学实验室	1	8	1.0	1.0