基于Spark的交互式数据预处理系统

• 作者: 张磊 朱锋 钟华
• 来源期刊: 计算机系统应用
• 关键词: 数据预处理 Spark 交互式 大数据
• 年，卷（期）: 2016,（11）
• 所属期刊栏目: 系统建设
• 页码范围: 84-89
• 页数: 6页
• 字数: 5633字
• 语种: 中文
• DOI: 10.15888/j.cnki.csa.005453

摘要

高质量的决策依赖于高质量的数据,数据预处理是数据挖掘至关重要的环节.传统的数据预处理系统并不能很好的适用于大数据环境,企业现阶段主要使用Hadoop/Hive对海量数据进行预处理,但普遍存在耗时长、效率低、无交互等问题.提出了一种基于Spark的交互式数据预处理系统,系统提供一套通用的数据预处理组件,并支持组件的扩展,数据以电子表格的形式展现,系统记录用户的处理过程并支持撤销重做.本文从数据模型、数据预处理操作、交互式执行引擎以及交互式前端四个方面描述了系统架构.最后使用医疗脑卒中的真实数据对系统进行验证,实验结果表明,系统能够在大数据场景下满足交互式处理需求.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张磊		307	3154	27.0	45.0
5	钟华	中国科学院软件研究所软件工程技术研究开发中心	56	727	11.0	25.0
6	朱锋	中国科学院软件研究所软件工程技术研究开发中心	6	31	3.0	5.0