面向主题的网络蜘蛛技术研究及系统实现

• 作者: 张博 蔡皖东
• 来源期刊: 微电子学与计算机
• 关键词: 信息收集 主题蜘蛛 相关度计算 搜索策略
• 年，卷（期）: 2009,（5）
• 页码范围: 52-55
• 页数: 4页
• 分类号: TK393
• 语种: 中文

摘要

首先研究了面向主题的网络蜘蛛的关键技术:抓取目标描述、网页分析算法和网页搜索策略等,在此基础上,设计并实现了一个面向主题的网络蜘蛛系统(简称主题蜘蛛),采用向量空间模型来计算网页的主题相关度,使用改进的Shark-Search网页搜索策略来决定待抓取链接的访问次序,从种子网页开始,只爬行具有较高预测相关度的链接,仅采集与主题相关的网页,多线程对网页进行下载和分析,提高了主题网页采集的精度.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	蔡皖东	西北工业大学计算机学院	157	1423	21.0	28.0
2	张博	西北工业大学计算机学院	60	446	10.0	18.0