面向软件构件的网页爬虫技术研究

• 作者: 玉素甫·艾白都拉 赛买提·艾力
• 来源期刊: 电脑迷
• 学科: 工学
• 关键词: 软件构件 构件描述 主题爬虫 相关度计算
• 年，卷（期）: 2014,（9）
• 所属期刊栏目: 网页设计
• 页码范围: 46-47
• 页数: 2页
• 分类号: TP3
• 字数: 1992字
• 语种: 中文

摘要

面向构件的垂直搜索引擎是该领域内的一个研究热点。本文介绍面向构件的主题爬虫的设计与实现，提出一种基于URL的面向构件的主题爬行算法，该爬行算法以构件资源在构件库网站的所处的位置，对URL队列进行优先级计算。对页面相关性判别，采用刻面关键词出现的频率来计算。实验结果表明该方法可行而且更有效。