一种主题自适应聚焦爬虫方法

• 作者: 李小平 林椹尠 袁柱
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: 聚焦爬虫 主题覆盖率 爬取准确度 LDA Word2vec
• 年，卷（期）: 2019,（5）
• 所属期刊栏目: 算法
• 页码范围: 316-321
• 页数: 6页
• 分类号: TP391.1
• 字数: 4338字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2019.05.53

摘要

针对聚焦爬虫主题描述精确度和主题相似度计算准确度偏低造成的主题覆盖率不足和爬取准确度偏低的问题,提出一种主题自适应聚焦爬虫方法.对每次迭代爬取的主题相关文档集建立LDA模型,提取模型热点词,更新主题关键词集及其权重.引入基于Word2 vec的主题相似度计算模型,结合文档内容以及锚文本内容词项的语义相似度和TF-IDF值计算链接优先级,引导爬虫抓取主题相关的网页.与基于语义检索的聚焦爬虫和基于向量空间的聚焦爬虫相比,主题自适应聚焦爬虫在主题覆盖率和爬取准确度方面性能更优.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	林椹尠	西安邮电大学理学院	24	110	4.0	10.0
2	李小平	西安邮电大学理学院	9	3	1.0	1.0
3	袁柱	西安邮电大学通信与信息工程学院	2	1	1.0	1.0