面向主题爬取的多粒度URLs优先级计算方法

• 作者: 陈竹敏 雷景生 韩晓晖 马军
• 来源期刊: 中文信息学报
• 学科: 工学
• 关键词: 计算机应用 中文信息处理 主题爬取 优先级计算 网页分块 相关度计算
• 年，卷（期）: 2009,（3）
• 页码范围: 31-38
• 页数: 8页
• 分类号: TP391
• 字数: 7209字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-0077.2009.03.005

摘要

垂直检索系统中主题爬虫的性能对整个系统至关重要.在设计主题爬虫时需要解决两个问题:一是计算当前页面与给定主题的相关度, 二是计算待爬取URLs的访问优先级.对第一个问题,给出利用页面的主题文本块和相关链接块的相关度计算方法; 对第二个问题, 给出基于主题上下文和四种不同的粒度(即站点级、页面级、块级和链接级)的优先级计算方法.在此基础上, 提出基于上述方法的主题爬取算法.实验证明, 新算法在不增加时间复杂度的前提下, 在查准率和信息量总和方面明显优于其他三种经典的爬取算法.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	马军	山东大学计算机科学与技术学院	74	980	15.0	29.0
2	雷景生	海南大学信息科学技术学院	35	368	10.0	17.0
3	陈竹敏	山东大学计算机科学与技术学院	14	377	9.0	14.0
4	韩晓晖	山东大学计算机科学与技术学院	5	115	4.0	5.0