基于HDF5格式的FAST望远镜数据重分布策略

• 作者: 朱明 李晖 钟灵
• 来源期刊: 计算机与现代化
• 学科: 工学
• 关键词: FAST望远镜 HDF5 数据重分布 数据结构
• 年，卷（期）: 2019,（6）
• 所属期刊栏目: 数据库与数据挖掘
• 页码范围: 60-64
• 页数: 5页
• 分类号: TP274
• 字数: 3052字
• 语种: 中文
• DOI: 10.3969/j.issn.1006-2475.2019.06.010

摘要

目前,世界上最大的单口径射电望远镜FAST(Five-hundred-meter Aperture Spherical radio Telescope)处于调试期,采集的数据面临着加载效率上的瓶颈,给后续的数据处理效率带来了挑战.本文结合科学数据存储格式HDF5(Hierarchi-cal Data Format Release 5)和数据降维,提出一种适合大多数FAST望远镜数据处理场景的存储优化方法.通过优化,硬盘中的数据从二进制表格模型转换为按类型分布的多个数据集.实验结果表明本文提出的方法能够显著提高FAST望远镜的数据加载效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李晖	贵州大学计算机科学与技术学院	18	21	2.0	4.0