基于爬虫的智能爬行算法研究

• 作者: 侯美静 崔艳鹏 胡建伟
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: 爬虫 智能爬行算法 URL去重 相似度 聚类
• 年，卷（期）: 2018,（11）
• 所属期刊栏目: 网络与通信
• 页码范围: 215-219,277
• 页数: 6页
• 分类号: TP3
• 字数: 4498字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2018.11.037

摘要

为了提高漏洞巡检的效率,过滤掉大部分结构相似的网页,提出一种智能爬行算法.对爬取过程中URL去重,丢弃重复的URL;计算两个URL对应页面的相似度值,具体是将页面解析成DOM树,根据节点的位置、DOM树的深度以及深度相同的节点数量,将权重分配给每个节点,再根据给定的公式计算网页的相似度;以相似度为基础,使用聚合式层次聚类思想将具有相似结构的网页聚为一组,每组只留下一个网页,达到去除大部分结构相似的网页的目的.实验结果表明,该智能爬行算法可以有效地减少结构相似的网页,提高漏洞巡检系统的巡检效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	胡建伟	西安电子科技大学网络与信息安全学院	35	169	8.0	11.0
2	崔艳鹏	西安电子科技大学网络与信息安全学院	30	176	7.0	12.0
3	侯美静	西安电子科技大学网络与信息安全学院	1	2	1.0	1.0