基于动态评价URL链接结构的主题爬行策略

• 作者: 郑凯
• 来源期刊: 福建电脑
• 学科: 工学
• 关键词: 主题搜索引擎 URL 链接结构 主题爬虫
• 年，卷（期）: 2010,（2）
• 所属期刊栏目: 应用与开发
• 页码范围: 83-84,96
• 页数: 3页
• 分类号: TP3
• 字数: 3625字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-2782.2010.02.056

摘要

在深入分析了HTML页面的超链结构的基础上,加入了锚文本内容分析权重和动态评价策略,提出了算法的改进,形成了综合动态价值的URL链接结构的搜索策略.改进的算法根据链接类型的不同赋予了不同的权重因子,并结合了动态价值评价穿越"隧道",简化了优先级的计算,有效地降低了"短视"问题和"主题漂移"现象,是一种高效实用的主题采集策略.