基于维基百科和网页分块的主题爬行策略

• 作者: 史艳 张玉芳 熊忠阳
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: 主题爬行 维基百科 主题描述 网页分块 相关度计算
• 年，卷（期）: 2011,（12）
• 所属期刊栏目: 数据库技术
• 页码范围: 3264-3267
• 分类号: TP391.1
• 字数: 5328字
• 语种: 中文
• DOI: 10.3724/SP.J.1087.2011.03264

摘要

针对传统主题爬行策略的不足和局限性,提出一种基于维基百科(Wikipedia)和网页分块的主题爬行策略,通过Wikipedia的主题分类树和主题描述文档获取主题向量,以此来描述主题；并在下载网页后引入网页分块,过滤噪声链接；在计算候选链接优先级时,引入块相关性,以弥补锚文本信息量有限的缺点；通过改变主题向量空间的大小来验证主题描述的详略对爬行性能的影响.实验结果表明,该策略有效,并且在一定限度内,对主题描述越详细,搜集的网页的相关度就越高.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	熊忠阳	重庆大学计算机学院	135	2447	25.0	44.0
2	张玉芳	重庆大学计算机学院	125	2737	26.0	48.0
3	史艳	重庆大学计算机学院	2	19	2.0	2.0