支持异构集群并行的高能物理数据处理系统

• 作者: 孙功星 李强 雷晓凤 霍菁
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 高能物理 集群资源管理 资源共享 Mesos工具 Hadoop平台 Torque/Maui系统
• 年，卷（期）: 2015,（1）
• 所属期刊栏目: 专栏
• 页码范围: 1-5
• 页数: 5页
• 分类号: TP391
• 字数: 3203字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2015.01.001

摘要

传统集群计算系统无法充分利用本地磁盘的存储资源和I/O,大量网络I/O成为系统瓶颈,导致资源利用率降低,并造成高昂的存储和网络成本.使用Hadoop处理分析作业可有效利用本地磁盘存储和I/O资源,而集群资源统一管理工具Mesos则使用轻量化的设计和高效的通信机制,能在不同计算集群之间动态共享集群资源.为此,分析高能物理数据处理的特点,利用Mesos构建异构集群间资源共享的高能物理实验数据处理系统,实现Torque/Maui和Hadoop集群的集成.测试结果表明,该系统能够在集群间动态分配集群资源,并利用本地存储和磁盘I/O显著降低网络I/O,提高集群资源利用率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李强	中国科学院高能物理研究所	307	4416	30.0	55.0
5	孙功星	中国科学院高能物理研究所	42	177	8.0	10.0
6	霍菁	中国科学院高能物理研究所	5	26	3.0	5.0
10	雷晓凤	中国科学院高能物理研究所	4	17	3.0	4.0