基于Nutch的分布式电商数据采集技术研究

• 作者: 向勇 朱应坚 陈雪梅
• 来源期刊: 广东通信技术
• 关键词: 电商数据 反爬 Nutch 分布式 采集
• 年，卷（期）: 2015,（10）
• 所属期刊栏目: 运营与应用
• 页码范围: 2-6,15
• 页数: 6页
• 语种: 中文
• DOI: 10.3969/j.issn.1006-6403.2015.10.001

摘要

随着大数据技术的广泛应用和示范效应,企业越来越重视数据的价值挖掘,尤其是结合企业内外部数据进行客户行为、偏好的分析与识别.而电商数据,对一些企业来讲无疑是宝贵的外部数据资源.但电商数据的获取,会受到电商网站的一些反爬技术限制,使其采集变得越来越困难.针对电商领域的数据采集以及在采集电商网站数据过程遇到的数据大,速度慢,访问校验,IP访问限制等问题,结合实际需求,研究、提出一种基于Nutch的分布式电商数据采集方案.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	向勇	中国电信股份有限公司广州研究院	8	112	4.0	8.0
2	陈雪梅		3	2	1.0	1.0
3	朱应坚		1	2	1.0	1.0