基于MapReduce的高能物理数据分析系统

• 作者: 孙功星 梁栋 臧冬松 霍菁
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 高能物理 大数据 数据分析 MapReduce 模型 集群 分布式计算
• 年，卷（期）: 2014,（2）
• 所属期刊栏目: 专栏
• 页码范围: 1-5
• 页数: 5页
• 分类号: TP311
• 字数: 3089字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2014.02.001

摘要

将 MapReduce 思想引入到高能物理数据分析中，提出一个基于 Hadoop 框架的高能物理数据分析系统。通过建立事例的TAG 信息数据库，将需要进一步分析的事例数减少2~3个数量级，从而减轻 I/O 压力，提高分析作业的效率。利用基于 TAG 信息的事例预筛选模型以及事例分析的 MapReduce 模型，设计适用于 ROOT 框架的数据拆分、事例读取、结果合并等 MapReduce 类库。在北京正负电子对撞机实验上进行系统实现后，将其应用于一个8节点实验集群上进行测试，结果表明，该系统可使4×106个事例的分析时间缩短23%，当增加节点个数时，每秒钟能够并发分析的事例数与集群的节点数基本呈正比，说明事例分析集群具有良好的扩展性。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	孙功星	中国科学院高能物理研究所	42	177	8.0	10.0
2	梁栋	中国科学院高能物理研究所	24	128	7.0	11.0
6	霍菁	中国科学院高能物理研究所	5	26	3.0	5.0
10	臧冬松	中国科学院高能物理研究所	5	34	4.0	5.0