基于MPI的分布式数据处理系统

• 作者: 李卫东 林韬 赵宝琦 邹佳恒 颜田
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 高能物理 江门中微子实验 离线数据处理 分布式计算 信息传递接口
• 年，卷（期）: 2019,（7）
• 所属期刊栏目: 先进计算与数据处理
• 页码范围: 20-25
• 页数: 6页
• 分类号: TP391
• 字数: 4616字
• 语种: 中文
• DOI: 10.19678/j.issn.1000-3428.0051077

摘要

为简化江门中微子实验的离线数据处理流程,减少资源消耗,提出一种在分布式计算环境中进行数据处理的通用软件系统.基于信息传递接口实现节点间的通信与数据交换,使用Master/Worker架构对计算作业生命周期进行管理,包括计算作业拆分、计算资源分配以及计算任务执行与监控.测试结果表明,该系统具有良好的可扩展性,其产生的数据与人工逐步执行作业脚本运行模拟软件产生的数据一致.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李卫东	中国科学院大学计算机与控制学院	20	228	6.0	15.0
5	颜田	中国科学院高能物理研究所	4	3	1.0	1.0
6	赵宝琦	中国科学院大学计算机与控制学院	1	1	1.0	1.0
10	邹佳恒	中国科学院高能物理研究所	4	10	1.0	3.0
11	林韬	中国科学院高能物理研究所	1	1	1.0	1.0