定向网络信息采集系统的研究

• 作者: 刘云 李勇 熊菲
• 来源期刊: 电脑与电信
• 学科: 工学
• 关键词: 信息采集 定向爬虫 面向主题 主题重要性
• 年，卷（期）: 2008,（9）
• 所属期刊栏目: 基金项目
• 页码范围: 24-26
• 页数: 3页
• 分类号: TP3
• 字数: 3307字
• 语种: 中文
• DOI: 10.3969/j.issn.1008-6609.2008.09.018

摘要

通用网络信息采集系统效率低,数据冗余大,因此本文研究了一种高性能的定向信息采集系统.该系统针对目标网站,抓取主题及回复网页.获取网页时控制并发线程和链接收集策略,消除无关和重复信息,并将数据结构化.同时本文提出了主题重要性评估模型,分析主题对回复的吸附力,分配系统资源,指引新回复的抓取.系统连续运行8小时,获得的有效网页总数在通用爬虫的1.2倍以上.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李勇	北京交通大学通信与信息系统北京市重点实验室	15	33	4.0	5.0
2	刘云	北京交通大学通信与信息系统北京市重点实验室	183	1843	21.0	36.0
3	熊菲	北京交通大学通信与信息系统北京市重点实验室	11	447	6.0	11.0