COS:度量分布式大数据处理系统的效率

• 作者: 李晓涵 陈文光
• 来源期刊: 数据与计算发展前沿
• 关键词: 并行计算 大数据 多线程 k-means 逻辑回归
• 年，卷（期）: 2020,（1）
• 所属期刊栏目: 专刊:高性能与高通量计算及应用
• 页码范围: 93-104
• 页数: 12页
• 字数: 9116字
• 语种: 中文
• DOI: 10.11871/jfdc.issn.2096-742X.2020.01.008

摘要

[目的]在大数据处理领域,分布式计算系统得到广泛应用,它们的可扩展性得到重点关注,但其绝对性能往往没有得到重视.我们希望提出科学合理、与时俱进的度量标准,对分布式系统的性能进行评估.[方法]本文通过对比特定任务的单机实现和分布式实现来讨论分布式系统的性能,提出COS(Configuration that Outperforms a Single machine)这一指标,来衡量分布式系统在达到单台机器的性能时,需要的硬件资源数量.我们选取k-means聚类和逻辑回归两个经典机器学习算法,对其进行单机多线程实现,并通过向量化计算、优化内存分配与访问等方式对性能进行了优化,为分布式多机系统的性能提供参考.[结果]以Apache Spark作为对标系统,实验发现无论是使用其原生编程接口,还是经过悉心优化的机器学习库,都要使用数倍甚至数百倍的机器,才能达到单机多线程实现的性能.[局限]分布式系统与单机实现进行性能对比并不是完全公平的,分布式系统的额外开销客观存在.[结论]但COS指标仍能反映分布式系统存在的绝对性能较差、没有充分利用硬件优势等问题.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈文光	清华大学计算机科学与技术系	21	54	5.0	7.0
2	李晓涵	清华大学计算机科学与技术系	1	0	0.0	0.0