基于本体的主题爬虫技术研究

• 来源期刊: 计算机仿真
• 学科: 工学
• 关键词: 主题爬虫 本体 主题相关度 最好优先算法
• 年，卷（期）: 2009,（10）
• 所属期刊栏目: 网络与互连技术
• 页码范围: 123-126,133
• 页数: 5页
• 分类号: TP393
• 字数: 5102字
• 语种: 中文

摘要

最好优先搜索算法在主题页面附近搜索时能够表现出良好的性能,但算法只关注能"立即回报"的链接而容易遗失那些有远期价值的链接,导致当搜索位置距离主题团较远时容易迷失搜索方向.在最好优先搜索算法基础上,引入了本体帮助主题爬虫识别那些"未来回报"的链接,对抛弃的主题无关链接再基于领域本体进行一次其他主题相关度的判断实验.实验结果表明,基于本体的主题爬虫能够抓取大量主题相关度高的网页,提高了主题资源覆盖率,有效解决了传统算法无法穿过隧道的问题.