基于Spark平台的大数据挖掘技术研究

• 作者: 王殉
• 来源期刊: 微型电脑应用
• 关键词: 大数据 数据挖掘 Spark
• 年，卷（期）: 2017,（6）
• 所属期刊栏目: 研究与设计
• 页码范围: 64-66,80
• 页数: 4页
• 字数: 2738字
• 语种: 中文

摘要

大数据具备数据量大、富于多样性的特点.因此在大数据分析方面,无论是对处理速度还是实时性都具有较高的要求.数据挖掘技术是从海量数据里采用某种建模算法,用来寻找隐藏在数据背后的信息,从而让大数据产生更大的价值.Spark框架是一个针对超大数据集合的低延迟的集群分布式计算系统.本文基于该框架,对大数据挖掘技术进行了具体研究,首先完成了基于Yarn部署上Spark集群搭建,然后提出并实现了并行Apriori算法,该算法成功补充了Spark MLlib分布式机器学习库中所缺乏的关联分析问题的分布式算法.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王殉	陕西学前师范学院教学设备与实验室管理处	1	5	1.0	1.0