Spark 2.0平台在大数据处理中的应用研究

• 作者: 周显春 肖衡
• 来源期刊: 软件导刊
• 学科: 工学
• 关键词: Spark2.0 随机森林算法 Dataset 集群环境
• 年，卷（期）: 2017,（5）
• 所属期刊栏目: 数据库与信息处理
• 页码范围: 149-151
• 页数: 3页
• 分类号: TP391
• 字数: 2303字
• 语种: 中文
• DOI: 10.11907/rjdk.171184

摘要

Spark分布式框架具有利用数据集内存缓存、启动任务的低迟延、迭代类运算、实时计算的支持和强大的函数式编程接口等特征.描述Spark 集群环境的搭建过程,将Spark 应用到预测森林植被中,对基于RDD和基于Data Frame接口的Spark随机森林算法的性能差异进行比较.实验结果表明,基于Dataset结构的随机森林法预测效果好、执行时间短,可以广泛使用.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	肖衡	三亚学院信息与智能工程学院	32	36	4.0	4.0
2	周显春	三亚学院信息与智能工程学院	29	56	5.0	6.0