面向网站群的主题爬虫研究

• 作者: 徐昊 沈江明
• 来源期刊: 软件导刊
• 学科: 工学
• 关键词: 爬虫技术 信息检索 自举聚焦爬虫
• 年，卷（期）: 2020,（8）
• 所属期刊栏目: 计算机软件与理论
• 页码范围: 109-112
• 页数: 4页
• 分类号: TP393
• 字数: 4192字
• 语种: 中文
• DOI: 10.11907/rjdk.201564

摘要

聚焦爬虫(Focused Crawler)又称为主题爬虫,是从网络上获取特定主题数据的有效工具.为了避免传统聚焦爬虫预训练主题相关性分类器的繁复工作,提出一种自举聚焦爬虫(Bootstrapping Focused Crawler),用于从特定网站群中收集主题数据.自举聚焦爬虫省略了预先训练分类器的步骤,转而采用一些样本页面以相似度排序的方式替代分类器功能.在实验中,自举聚焦爬虫以牺牲一定准确率为代价,取得了0.62的召回率以及0.45的F1值,表现优于传统聚焦爬虫(召回率0.16、F1值0.25).对于网站群主题数据采集任务,采用相似度排序替代主题分类器,不仅可以减轻分类器训练负担,还可以达到更好的效果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	沈江明	中国电信股份有限公司云南分公司企业信息化部	5	0	0.0	0.0
2	徐昊	云南财经大学信息学院	1	0	0.0	0.0