基于概率模型的主题爬虫的研究和实现

• 作者: 梁久祯 白玉昭
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: 主题爬虫 概率模型 URL过滤 URL排序 优先值
• 年，卷（期）: 2013,（1）
• 所属期刊栏目: 数据挖掘
• 页码范围: 160-165
• 页数: 6页
• 分类号: TP393
• 字数: 5568字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2013.01.027

摘要

在现有多种主题爬虫的基础上,提出了一种基于概率模型的主题爬虫.它综合抓取过程中获得的多方面的特征信息来进行分析,并运用概率模型计算每个URL的优先值,从而对URL进行过滤和排序.基于概率模型的主题爬虫解决了大多数爬虫抓取策略单一这个缺陷,它与以往主题爬虫的不同之处是除了使用主题相关度评价指标外,还使用了历史评价指标和网页质量评价指标,较好地解决了“主题漂移”和“隧道穿越”问题,同时保证了资源的质量.最后通过多组实验验证了其在主题网页召回率和平均主题相关度上的优越性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	梁久祯	江南大学物联网工程学院	74	332	10.0	13.0
2	白玉昭	江南大学物联网工程学院	2	24	2.0	2.0