基于语义相似度的聚焦爬虫研究

• 作者: 林春杰 金苗娟
• 来源期刊: 现代信息科技
• 学科: 工学
• 关键词: 聚焦爬虫 语义相似度 本体 搜索引擎
• 年，卷（期）: 2020,（8）
• 所属期刊栏目: 信息技术
• 页码范围: 1-3,8
• 页数: 4页
• 分类号: TP391.1
• 字数: 3494字
• 语种: 中文
• DOI: 10.19850/j.cnki.2096-4706.2020.08.001

摘要

实现高效获取互联网中特定领域信息的有效途径是使用聚焦爬虫,针对聚焦爬虫在判断主题相关时缺少语义信息的问题,提出了一个基于语义相似度计算的聚焦爬虫框架.该框架抽取网页的主题词、内容和链接信息作为网页特征,计算主题相似度.通过链接的主题相关度计算,过滤URL和判断URL的重要程度.最后给出了对比试验,验证了该方法的有效性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	林春杰	洛阳师范学院信息技术学院	19	77	4.0	8.0
2	金苗娟	洛阳师范学院公共外语教研部	2	0	0.0	0.0