主题爬虫的主题相关度算法研究

• 作者: 徐杨 王未央
• 来源期刊: 现代计算机：中旬刊
• 学科: 工学
• 关键词: 搜索引擎 网络爬虫 主题相关度 向量空间模型
• 年，卷（期）: 2016,（5）
• 页码范围: 48-51
• 页数: 4页
• 分类号: TP393

摘要

主题爬虫核心问题是主题的相关性判别问题。如何在爬取过程中,快速、准确地判别爬取页面的主题相关度,是决定主题爬虫搜索策略好坏的关键所在。提出利用两步向量空间模型计算的方法进行主题识别,并将基于两步向量空间模型的主题爬虫与传统基于一步向量空间模型的主题爬虫进行比较,实验表明基于两步向量空间的主题爬虫在主题相关度判别和执行效率方面都有较好的表现,同时对＂隧道现象＂也有一定的改善。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王未央	上海海事大学信息工程学院	26	84	5.0	8.0
2	徐杨	上海海事大学信息工程学院	3	6	2.0	2.0