基于Spark的流程化机器学习分析方法

• 作者: 刘杰 王伟 赵玲玲
• 来源期刊: 计算机系统应用
• 关键词: 机器学习 数据分析 分布式 大数据 Spark
• 年，卷（期）: 2016,（12）
• 所属期刊栏目: 软件技术·算法
• 页码范围: 162-168
• 页数: 7页
• 字数: 6519字
• 语种: 中文
• DOI: 10.15888/j.cnki.csa.005454

摘要

Spark通过使用内存分布数据集,更加适合负载数据挖掘与机器学习等需要大量迭代的工作.但是数据分析师直接使用Spark进行开发十分复杂,包括scala学习门槛高,代码优化与系统部署需要丰富的经验,同时代码的复用度低导致重复工作繁多.本文设计并实现了一种基于Spark的可视化流程式机器学习的方法,一方面设计组件模型来刻画机器学习的基本步骤,包括数据预处理、特征处理、模型训练及验证评估,另一方面提供可视化的流程建模工具,支持分析者设计机器学习流程,由工具自动翻译为Spark平台代码高效执行.本工具可以极大的提高Spark平台机器学习应用开发的效率.论文介绍了工具的方法理论和关键技术,并通过案例表明工具的有效性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王伟	中国科学院软件研究所	295	3192	30.0	44.0
2	刘杰	中国科学院软件研究所	218	1905	24.0	36.0
3	赵玲玲		10	71	3.0	8.0