基于相关度分析的主题聚焦爬虫研究

• 作者: 彭鑫 秦秋莉
• 来源期刊: 自动化博览
• 关键词: 聚焦爬虫 相关度分析 向量空间模型 TF-IDF
• 年，卷（期）: 2013,（z2）
• 页码范围: 190-194
• 页数: 5页
• 字数: 5052字
• 语种: 中文

摘要

随着网络和信息技术的迅猛发展，互联网中蕴藏着丰富的海量数据，如何有效地从这些数据中过滤出特定主题或领域的信息，是广大研究人员面对的一大问题。本文研究基于向量空间模型的TF-IDF文本相关度分析方法的主题聚焦爬虫，通过种子URL作为采集入口快速采集网络信息，利用网页内容抽取、主要内容和页面链接解析技术分析页面主要文本，使用基于VSM的TF-IDF技术分析文本与领域主题的相似性，以此来达到聚焦领域相关网页的目的。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	秦秋莉	北京交通大学经济管理学院	5	12	2.0	3.0
2	彭鑫	北京交通大学经济管理学院	1	2	1.0	1.0