基于运行数据分析的Spark任务参数优化

• 作者: 曹越 李峰 陈侨安 龙明盛
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: 大数据 运行数据 数据分析 参数优化 Spark
• 年，卷（期）: 2016,（1）
• 所属期刊栏目: 高性能计算
• 页码范围: 11-19
• 页数: 9页
• 分类号: TP391
• 字数: 9561字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2016.01.002

摘要

运行数据是大数据系统中增长最快、最为复杂也是最有价值的数据资源之一.基于运行数据,软件开发者可以分析关于软件质量和开发模型的重要信息.Spark作为一个分布式系统,在运行过程中会产生大量的运行数据,包括日志数据、监控数据以及任务图数据.开发者可以基于运行数据对系统进行参数调优.然而该系统所涉及的参数种类繁多、影响多样且难以评估,若对系统了解不足,进行参数调优存在较大的困难.提出运行数据历史库的概念,历史库中存储的是以往运行任务的特征信息以及运行配置信息.同时提出了基于历史库搜索的参数优化模型,并实验验证了本文提出的参数优化模型对用户任务性能提升具有较好的效果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	曹越	清华大学软件学院	19	126	7.0	10.0
2	李峰	清华大学软件学院	14	125	7.0	11.0
3	陈侨安	清华大学软件学院	1	37	1.0	1.0