科研大数据平台关键技术与实践

• 作者: 程耀东 陈刚
• 来源期刊: 工程研究—跨学科视野中的工程
• 关键词: 大数据 数据存储 并行数据处理 开放平台
• 年，卷（期）: 2014,（3）
• 所属期刊栏目: “大数据处理中的基础理论与关键技术”专刊
• 页码范围: 266-274
• 页数: 9页
• 分类号: O57
• 语种: 中文
• DOI: 10.3724/SP.J.1224.2014.00266

摘要

首先，以高能物理领域数据处理为例，分析了支撑科学研究的大数据平台在存储和处理能力、传输和共享等方面的挑战，说明现有技术已经难以满足日益快速增长的数据处理需求。然后，给出了科研大数据平台的典型架构，并讨论科研大数据平台的关键技术，包括数据采集与清洗、数据存储、数据处理、数据传输、数据共享与安全等技术，同时介绍了各种关键技术的研究现状或者主流系统。最后，介绍了中国科学院高能物理研究所科研大数据开放平台的建设思路和实现框架，该平台试图解决目前大数据发展过程中面临的一些问题，如数据开放和跨领域融合不够、跨地域数据传输性能低等，从而激活数据价值，降低应用门槛。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈刚	中国科学院高能物理研究所	183	1886	20.0	37.0
2	程耀东	中国科学院高能物理研究所	52	322	10.0	14.0