基于ANN的改进Spark系统在空管大数据处理中的应用

• 作者: 刘皓晨 潘卫军 王润东 胡博文
• 来源期刊: 计算机与现代化
• 学科: 工学
• 关键词: 大数据 Spark 人工神经网络 数据处理 空管
• 年，卷（期）: 2020,（12）
• 所属期刊栏目: 数据库与数据挖掘
• 页码范围: 78-82,89
• 页数: 6页
• 分类号: TP391
• 语种: 中文
• DOI: 10.3969/j.issn.1006-2475.2020.12.014

摘要

针对Spark系统参数量巨大且手动调整参数具有耗时、效率低下等问题,提出一种基于人工神经网络(Artificial Neural Network,ANN)的方法来对Spark系统的配置参数进行自动调整,保障在处理空管大数据时的速度和性能.使用Dell PowerEdge T430服务器测试了空管大数据中5种常用的不同大小的数据集,以验证该方法.研究表明,与默认参数配置相比,该方法可将Spark系统的性能平均提高约35％.随着数据集大小的增加,性能呈现进一步提高的趋势.该方法可以有效地保障Spark系统的参数调整效率,达到高效处理空管大数据的目的.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	潘卫军		9	4	1.0	2.0
2	刘皓晨		2	0	0.0	0.0
3	王润东		3	0	0.0	0.0
4	胡博文		1	0	0.0	0.0