基于WebMagic框架的面向招聘网站的爬虫技术研究

• 作者: 朱二莉
• 来源期刊: 信息与电脑
• 学科: 工学
• 关键词: 网络爬虫 前程无忧51Job WebMagic框架 爬取岗位信息
• 年，卷（期）: 2019,（19）
• 所属期刊栏目: 数据库技术
• 页码范围: 141-142,145
• 页数: 3页
• 分类号: TP391.3|TP393.092
• 语种: 中文

摘要

笔者首先分析了网络招聘的现状,介绍了爬虫技术的分类,进而提出了基于Java爬虫框架WebMagic的爬虫方案,然后分析了爬取流程,具体阐述了对大型招聘网站上发布的职位信息进行抓取及存储的过程,最后简单说明了对岗位信息数据进行清洗、分析、展现的过程.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	朱二莉		20	33	4.0	4.0