面向订票服务器端爬虫的可视检测方法研究

• 作者: 刘宇 吴向阳 张祯 王程 陈万烤
• 来源期刊: 计算机辅助设计与图形学学报
• 学科: 工学
• 关键词: 反爬虫 订票系统 可视分析 支持向量机
• 年，卷（期）: 2018,（1）
• 所属期刊栏目: 数据可视化
• 页码范围: 20-29
• 页数: 10页
• 分类号: TP391.41
• 字数: 6663字
• 语种: 中文
• DOI: 10.3724/SP.J.1089.2018.16926

摘要

恶意下载爬虫对电子商务造成了不可忽视的损失,为此设计了一套适用于各航空公司的通用查订票爬虫检测系统.首先系统以航线图、柱状图、饼图等多种可视化手段展现各时段的爬虫检测效果; 其次基于SVM分类器,并结合IP地址聚合和查询量排序技术,设计了高效识别动态IP爬虫等多种爬虫的检测算法; 最后通过特征筛选、IP历史详情查询等可视界面支持用户手工筛选训练样本,以更新 SVM 分类模型.以某航空公司访问 E-Build 服务器的日志数据进行的实验结果表明,该系统能够有效地抓取多种爬虫,大大降低无效查询量,并且能方便地更新分类模型,保持检测算法的长效性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	吴向阳	杭州电子科技大学图形图像研究所	22	106	6.0	9.0
2	张祯	杭州电子科技大学图形图像研究所	8	22	3.0	4.0
3	陈万烤	杭州电子科技大学图形图像研究所	2	9	2.0	2.0
4	刘宇		5	8	2.0	2.0
5	王程		2	3	1.0	1.0