基于压缩-字对齐位图的天文海量数据实时索引

• 作者: 刘应波 季凯帆 戴伟 梁波 王锋 邓辉
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 字对齐位图索引 FastBit 海量数据 大型望远镜
• 年，卷（期）: 2016,（1）
• 所属期刊栏目: 大数据与云计算
• 页码范围: 37-41,140
• 页数: 6页
• 分类号: TP39
• 字数: 5120字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1401-0015

摘要

澄江一米新真空大型天文望远镜(NVST)当前每天最大能产生2TB,约十多万条的观测数据.由于这些数据量巨大并具有非结构化特性,使用离线构建索引会带来巨大时间开销,传统的关系型数据库难以满足快速索引和检索需求.针对这些问题,结合数据采集流程,提出了使用基于压缩的字对齐位图索引算法来在线实时构建索引.这种方式不仅克服了离线构建索引方式时,文件访问、FITS头读取和解析FITS头等操作带来的大量额外时间消耗问题,而且有助于解决海量太阳观测数据的高效检索难题.通过实验证明了在线实时构建索引方式能够极大地降低时间开销,也表明了该方式在天文海量数据索引和检索应用中的有效性和可行性.