结合文本密度的语义聚焦爬虫方法

• 作者: 李小平 林椹尠 袁柱
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: 聚焦爬虫 核心内容 LCS Word2 vec 链接优先级
• 年，卷（期）: 2019,（9）
• 所属期刊栏目: 算法
• 页码范围: 270-275
• 页数: 6页
• 分类号: TP391.1
• 字数: 4345字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2019.09.047

摘要

针对聚焦爬虫网页核心内容提取算法准确性偏低以及相似度计算模型语义信息考虑不充分造成的爬取准确度和效率偏低的问题,提出结合文本密度的语义聚焦爬虫方法.引入核心内容提取算法,使用标题结合LCS算法定位核心内容文本的起始和终止位置,提取网页核心内容.引入基于Word2vec的主题相关度算法计算核心内容的主题相关度,改进PageRank算法计算链接主题重要度.结合主题相关度和主题重要度计算链接优先级.此外,为提高聚焦爬虫的全局搜索性能,结合主题词使用搜索引擎扩展链接集.与通用爬虫和多种聚焦爬虫相比,该方法爬虫爬取准确度和效率更优.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	林椹尠	西安邮电大学理学院	24	110	4.0	10.0
2	李小平	西安邮电大学理学院	9	3	1.0	1.0
3	袁柱	西安邮电大学通信与信息工程学院	2	1	1.0	1.0