空间科学卫星数据快速处理方法

• 作者: 孙小涓 李冰 杨晓艳 石涛 胡玉新 雷斌
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: 数据处理 空间科学卫星 索引结构 科学工作流
• 年，卷（期）: 2018,（8）
• 所属期刊栏目: 高性能计算
• 页码范围: 1351-1357
• 页数: 7页
• 分类号: TP391
• 字数: 4425字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2018.08.003

摘要

针对卫星获取的大规模数据进行快速数据处理一直是空间信息处理系统建设中的关键.面对空间科学卫星全天候观测、探测载荷类型多、处理算法多样带来的数据处理难题,现有基于CCSDS标准格式的数据分析方法,难以满足目前在轨的多颗空间科学卫星数据处理系统在正确性和时效性方面的要求.针对空间科学卫星探测数据处理特点,提出了一种空间科学数据快速处理方法,设计两层联合索引结构,将空间科学大数据处理问题转化为索引表和源包数据单元的处理问题,提高了数据处理效率;采用科学工作流技术设计了数据驱动和业务驱动协同的处理框架,支持多样化的空间科学卫星数据处理流程,各类载荷数据处理任务并行调度.实验结果表明,这种方法处理速度可扩展,内存使用较少,已应用于空间科学卫星地面系统中,取得了良好的效果.