Linux内核参数对Spark负载性能影响的研究

• 作者: 张伟功 王利 王晶 邱柯妮 陆克中
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: 大数据 Spark Linux 大页 NUMA
• 年，卷（期）: 2017,（7）
• 所属期刊栏目: 高性能计算
• 页码范围: 1219-1226
• 页数: 8页
• 分类号: TP391
• 字数: 6591字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2017.07.003

摘要

关于Spark性能的研究目前正在成为热点,但调优策略多位于应用层,而不是系统层.操作系统作为硬件之上的第一层软件,对硬件性能发挥起着根本作用.Linux内核提供了丰富的参数作为优化性能的接口,但实际中,这些参数的作用并没有得到充分发挥.人们更多是采用系统默认值,而不是根据具体环境进行调整.然而本文实验发现,系统默认值并不一定是最好的选择,有时甚至是最坏的.定义了“影响比”这一概念,并基于此概念提出了一种通过分析内核函数的执行情况来认识参数对Spark应用影响的方法.针对Spark内存计算的特点,从大页、NUMA这两个与使用内存紧密相关的方面分析了相关内核参数对几种典型Spark负载的性能影响,并由此得出一些结论.希望本文的分析和结论可以为Spark平台合理设置内核参数提供一些参考.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张伟功	首都师范大学信息工程学院	43	138	6.0	9.0
5	王晶	首都师范大学北京成像技术高精尖创新中心	24	58	4.0	5.0
9	王利	首都师范大学北京成像技术高精尖创新中心	2	9	2.0	2.0
13	邱柯妮	首都师范大学信息工程学院	9	28	4.0	5.0