数据平台的设计和实现以及大赛中的应用

• 作者: 王永坤 金耀辉
• 来源期刊: 计算机科学与探索
• 学科: 工学
• 关键词: 大数据 数据分析 数据处理 数据平台 Hadoop
• 年，卷（期）: 2018,（1）
• 所属期刊栏目: 数据库技术
• 页码范围: 39-48
• 页数: 10页
• 分类号: TP311
• 字数: 9088字
• 语种: 中文
• DOI: 10.3778/j.issn.1673-9418.1609003

摘要

得益于大数据相关的开源软件蓬勃发展,中小企业和机构也可以进行大数据平台的搭建和应用.但是数据平台在实际应用中仍然有很多挑战,例如如何进行开放数据的共享和计算,并保证代码安全等.基于开源软件设计了一个数据平台架构来让用户一站式地共享数据和计算,同时跟踪和审核代码.根据此设计搭建了一个生产环境,并给出了基本的测试来验证平台的可用性.把平台开放给外界使用,成功地支持了上海开放数据创新应用大赛(Shanghai Open Data Apps,SODA)中的大量用户的数据共享和计算需求.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	金耀辉	上海交通大学网络信息中心	52	225	9.0	11.0
5	王永坤	上海交通大学网络信息中心	12	46	4.0	6.0