大数据技术中计算与数据的协作机制

• 作者: 刘峰 安俊秀 王鹏 黄焱
• 来源期刊: 成都信息工程学院学报
• 学科: 工学
• 关键词: 面向数据 协作机制 面向计算 高性能计算 大数据
• 年，卷（期）: 2014,（1）
• 所属期刊栏目: 特约稿件
• 页码范围: 1-12
• 页数: 12页
• 分类号: TP316
• 字数: 11898字
• 语种: 中文

摘要

大数据系统也被称为面向数据的高性能计算系统,与传统高性能计算系统相似,其计算和数据存储通常也是基于机群实现的分布式系统.以计算与数据的协作机制为主线分析对比了面向计算的高性能计算和面向数据的高性能计算,指出正是计算与数据的协作机制决定着大数据系统的基本结构和性能.分布式文件系统与计算通过协助机制的融合是大数据系统实现自动并行化的基础.与面向计算的高性能计算系统不同,大数据系统以切分数据并将计算向数据迁移作为协作机制的主要原则,实现对海量数据的自动并行批处理.元数据映射方法、哈希映射方法及流式拓朴方法是实现计算和数据协作的基本方法,特别是利用流式拓朴方法可以实现实时大数据处理.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	安俊秀	成都信息工程学院并行计算实验室	30	287	8.0	16.0
2	王鹏	成都信息工程学院并行计算实验室	56	762	15.0	26.0
3	黄焱	中国科学院成都计算机应用研究所	12	167	8.0	12.0
7	刘峰	成都信息工程学院并行计算实验室	8	24	3.0	4.0