基于Spark的大规模天文数据天区覆盖生成算法

• 作者: 冯阔 崔辰州 熊聪聪 田祖宸 赵青
• 来源期刊: 天津科技大学学报
• 学科: 地球科学
• 关键词: Spark 大数据 HEALPix 天文 天区覆盖
• 年，卷（期）: 2018,（5）
• 所属期刊栏目: 信息科学与技术
• 页码范围: 63-67,78
• 页数: 6页
• 分类号: TP311.13|P114
• 字数: 4323字
• 语种: 中文
• DOI: 10.13364/j.issn.1672-6510.20170159

摘要

天区覆盖生成是天文数据归档中的重要一环,其结果对天文数据检索、计算等后续处理流程至关重要.由于天文数据的海量性,应用传统科学计算方法处理这一问题通常耗时较长,效率不高,且受存储空间的制约,扩展性差.为解决这一问题,本文提出了一种基于HEALPix索引和Spark框架的高效分布式天区覆盖生成算法.实验证明:该算法可以在短时间内完成大规模天文数据的天区覆盖生成,为实现海量天文数据的快速归档提供了支持;同时,所生成的结果还可以用于数据可视化,直观地展现星表中的天文数据在天区上的分布情况.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	熊聪聪	天津科技大学计算机科学与信息工程学院	47	243	10.0	13.0
2	赵青	天津科技大学计算机科学与信息工程学院	8	17	3.0	4.0
3	冯阔	天津科技大学计算机科学与信息工程学院	3	4	1.0	2.0
4	田祖宸	天津科技大学计算机科学与信息工程学院	1	0	0.0	0.0