基于Nutch爬虫的电商交易价格统计研究

• 作者: 苏理云 阳黎明
• 来源期刊: 重庆理工大学学报（自然科学版）
• 学科: 工学
• 关键词: 电商交易数据 分布式集群 Nutch 价格指数
• 年，卷（期）: 2017,（1）
• 所属期刊栏目: 数学·统计学
• 页码范围: 152-157
• 页数: 6页
• 分类号: TP39|O21
• 字数: 4766字
• 语种: 中文
• DOI: 10.3969/j.issn.1674-8425(z).2017.01.023

摘要

将电商交易数据纳入价格指数架构是目前统计工作关注的焦点.应用大数据技术,将Nutch爬虫搭建在分布式集群上,构建分布式网络数据抓取系统,同时结合最新的AP聚类算法对数据进行预处理,然后对网上数据进行价格指数建模,进行价格指数试算.试算结果表明:基于分布式集群下的Nutch网络爬虫技术较好地完成了网络交易数据抓取任务.因此,计算的网上交易数据价格指数可较好地反映市场价格变化趋势.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	苏理云	重庆理工大学理学院	64	187	7.0	10.0
2	阳黎明	重庆理工大学理学院	2	14	2.0	2.0