SCE大数据平台接入的研究与实现

• 作者: 王小宁 肖海力 迟学斌 韩伊梦
• 来源期刊: 科研信息化技术与应用
• 关键词: SCE YARN 大数据平台 多样化资源
• 年，卷（期）: 2019,（1）
• 所属期刊栏目: 应用
• 页码范围: 66-73
• 页数: 8页
• 字数: 5699字
• 语种: 中文
• DOI: 10.11871/j.issn.1674-9480.2019.01.008

摘要

SCE是中国科学院计算机网络信息中心自主研发的用于聚合各超算中心、高校、研究所高性能计算机资源的科学计算中间件.大数据技术近年来飞速发展,SCE的用户在海量数据处理与大数据计算上的需求日益提升.为了解决这个问题,我们希望可以实验性的将大数据平台与SCE实现对接,为用户提供大数据平台服务.本文利用自建的Hadoop平台为例,并编写程序实现了将其接入SCE中.实验证明,可以通过SCE向Hadoop平台进行提交、查询等一系列操作,正常的将Hadoop平台接入.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	迟学斌	中国科学院计算机网络信息中心	101	634	14.0	21.0
2	肖海力	中国科学院计算机网络信息中心	30	116	6.0	9.0
3	王小宁	中国科学院计算机网络信息中心	25	55	5.0	6.0
4	韩伊梦	中国科学院计算机网络信息中心	1	0	0.0	0.0