基于决策树算法的爬虫识别技术

• 作者: 刘宇 程学林
• 来源期刊: 软件
• 学科: 工学
• 关键词: 网络爬虫 爬虫检测 恶意爬虫 反爬虫
• 年，卷（期）: 2017,（7）
• 所属期刊栏目: 设计研究与应用
• 页码范围: 122-125
• 页数: 4页
• 分类号: TP314
• 字数: 2759字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-6970.2017.07.028

摘要

网络爬虫指的是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本[1].但是实际上爬虫还分为正规爬虫和非正规爬虫,所谓的正规爬虫就是通过正规途径和手段获取网站信息和数据,非正规爬虫又称为恶意爬虫,主要用于非法盗窃数据,给网站服务器增加负担以及偷窥一些敏感信息数据等.本文将会基于决策树算法设计一种新爬虫检测技术,并根据爬虫检测结果提供一些反爬机制,对恶意爬虫进行进行评屏蔽等,进而实现对网站和服务器以及部分数据,信息的保护,降低互联网资源重叠现象.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	程学林	浙江大学软件学院	4	8	2.0	2.0
2	刘宇	浙江大学软件学院	7	87	4.0	7.0