基于网站访问行为的匿名爬虫检测

• 作者: 李红灵 邹建鑫
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: 网络爬虫 网络机器人排斥协议 网站访问行为 匿名爬虫检测
• 年，卷（期）: 2017,（12）
• 所属期刊栏目: 安全与防范
• 页码范围: 103-107,114
• 页数: 6页
• 分类号: TP393.08
• 字数: 5518字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2017.12.023

摘要

通过分析和研究网络爬虫访问网页内容的行为,针对恶意网络爬虫伪装成浏览器访问网站难以甄别、网站日志检测工具不支持匿名网络爬虫检测等问题,总结了一些基于机器人排斥协议和基于爬虫行为的恶意网络爬虫检测算法.通过这些网络爬虫检测算法的启发,提出一种基于爬虫行为的检测匿名爬虫算法.该算法主要根据人为访问网站与网络爬虫访问网站时间的长短、访问的周期等,对网络爬虫进行检测,同时对算法进行了实验验证.实验数据来自一个服务器的网络日志.应用Python对实验数据进行处理,从而对网络匿名爬虫进行检测,并与当前主流的匿名网络爬虫检测算法进行比较.结果表明,该算法能够检测出并发量小的匿名的网络爬虫.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李红灵	云南大学信息学院计算机科学与工程系	15	46	4.0	6.0
2	邹建鑫	云南大学信息学院计算机科学与工程系	2	18	2.0	2.0