基于网络爬虫的京东电商平台数据分析

• 作者: 贺正楚 陈一鸣 魏倩男
• 来源期刊: 经济数学
• 学科: 经济
• 关键词: 电商平台 数据分析 分布式系统 AJAX MapReduce Jumony Core
• 年，卷（期）: 2018,（1）
• 所属期刊栏目: 互联网经济
• 页码范围: 77-85
• 页数: 9页
• 分类号: F424|F716|F724.6
• 字数: 8414字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-1660.2018.01.015

摘要

以京东平台的网页数据抓取为例,研究如何提高网络爬虫技术对网页数据的抓取效率,进而对抓取到的数据进行数据挖掘和数据分析.该网络爬虫技术主要建立在分布式系统的基础上,多台计算机多线程同时运行,使数据抓取效率显著提高.分析京东平台的网页信息,统一分类,抓取分类下的商品信息,获取到网页内容后,利用解析器重建网页DOM树,通过JQUERY选择器,针对选择不同的标签名称和标识名称获取商品信息,把获取到的数据进行过滤、整合,然后进行数据挖掘和数据分析,对电商行业走势进行预测,进而指导电商运营团队决策.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈一鸣	长沙理工大学经济与管理学院	32	353	9.0	18.0
2	贺正楚	长沙理工大学经济与管理学院	132	2477	23.0	46.0
3	魏倩男	长沙理工大学经济与管理学院	2	7	1.0	2.0