基本信息来源于合作网站,原文需代理用户跳转至来源网站获取       
摘要:
科学计算数据集由数据和元数据组成.一般条件下,数据的尺寸较大,元数据尺寸较小.传统的高性能计算机并行文件系统可以高效率地读写大块连续数据,但是无法高效率地读写大量较小块的元数据.一旦大块数据和小块元数据两类读写特征混杂在一起,元数据将较严重地干扰并行I/O,造成性能的下降.为此,文中提出数据与元数据分治的双路并行I/O方法.该方法在高层I/O库中建立内存文件系统与并行文件系统两级存储,在存储资源之间并行迁移科学计算元数据.一方面降低较频繁读写元数据的I/O延迟,另一方面改变科学计算数据的存储特征与存储模式,从而提高科学计算应用、尤其是数据分析与可视化等读入密集型应用的I/O效率.测试表明,双路并行I/o方法可提高写性能8%~13%,提高读性能89%到1.01倍.
推荐文章
并行I/O技术研究
并行I/O
并行文件系统
高性能计算
集群计算系统中并行I/O模拟器的研究与设计
集群计算系统
并行I/O
模拟器
一种动态并行I/O调度新策略的研究
并行I/O
数据调度
二次调度
基于ModBus通讯协议的Scatter I/O优化方法
ModBus通讯协议
组态软件
Scatter I/O
内容分析
关键词云
关键词热度
相关文献总数  
(/次)
(/年)
文献信息
篇名 科学计算双路并行I/O优化方法
来源期刊 计算机学报 学科 工学
关键词 并行I/O 高层I/O库 性能优化 数据格式 双路并行I/O
年,卷(期) 2015,(5) 所属期刊栏目 计算机系统机构
研究方向 页码范围 1035-1043
页数 9页 分类号 TP302
字数 7389字 语种 中文
DOI 10.3724/SP.J.1016.2015.01035
五维指标
作者信息
序号 姓名 单位 发文数 被引次数 H指数 G指数
1 莫则尧 北京应用物理与计算数学研究所高性能计算中心 77 493 13.0 16.0
2 沈卫超 北京应用物理与计算数学研究所高性能计算中心 25 88 5.0 8.0
3 夏芳 北京应用物理与计算数学研究所高性能计算中心 23 72 5.0 7.0
4 陈军 北京应用物理与计算数学研究所高性能计算中心 30 124 6.0 9.0
5 曹立强 北京应用物理与计算数学研究所高性能计算中心 16 42 4.0 6.0
传播情况
(/次)
(/年)
引文网络
引文网络
二级参考文献  (10)
共引文献  (67)
参考文献  (7)
节点文献
引证文献  (1)
同被引文献  (4)
二级引证文献  (4)
1995(1)
  • 参考文献(0)
  • 二级参考文献(1)
1996(1)
  • 参考文献(0)
  • 二级参考文献(1)
1997(1)
  • 参考文献(0)
  • 二级参考文献(1)
1999(1)
  • 参考文献(0)
  • 二级参考文献(1)
2000(4)
  • 参考文献(0)
  • 二级参考文献(4)
2001(1)
  • 参考文献(0)
  • 二级参考文献(1)
2002(1)
  • 参考文献(1)
  • 二级参考文献(0)
2004(1)
  • 参考文献(1)
  • 二级参考文献(0)
2009(2)
  • 参考文献(1)
  • 二级参考文献(1)
2010(1)
  • 参考文献(1)
  • 二级参考文献(0)
2012(2)
  • 参考文献(2)
  • 二级参考文献(0)
2014(1)
  • 参考文献(1)
  • 二级参考文献(0)
2015(0)
  • 参考文献(0)
  • 二级参考文献(0)
  • 引证文献(0)
  • 二级引证文献(0)
2017(1)
  • 引证文献(1)
  • 二级引证文献(0)
2018(3)
  • 引证文献(0)
  • 二级引证文献(3)
2019(1)
  • 引证文献(0)
  • 二级引证文献(1)
研究主题发展历程
节点文献
并行I/O
高层I/O库
性能优化
数据格式
双路并行I/O
研究起点
研究来源
研究分支
研究去脉
引文网络交叉学科
相关学者/机构
期刊影响力
计算机学报
月刊
0254-4164
11-1826/TP
大16开
中国科学院计算技术研究所(北京2704信箱)
2-833
1978
chi
出版文献量(篇)
5154
总下载数(次)
49
相关基金
国家自然科学基金
英文译名:the National Natural Science Foundation of China
官方网址:http://www.nsfc.gov.cn/
项目类型:青年科学基金项目(面上项目)
学科类型:数理科学
论文1v1指导