利用HTCondor高通量计算框架处理MODIS时间序列遥感影像

• 作者: 罗泽 郑若冰 阎保平
• 来源期刊: 科研信息化技术与应用
• 关键词: 高通量计算 MODIS数据处理 HTCondor
• 年，卷（期）: 2017,（2）
• 所属期刊栏目: 应用
• 页码范围: 48-55
• 页数: 8页
• 字数: 5213字
• 语种: 中文
• DOI: 10.11871/j.issn.1674-9480.2017.02.005

摘要

随着卫星技术进步,越来越多的遥感数据可供各领域科研人员处理与分析.日益增长的数据量也带来了新的挑战:如何高效的处理长时间序列遥感数据.目前,无论从处理效率还是任务规模,现有的计算手段都很难满足当前需求.常用的商业 GIS 软件往往基于单机环境,扩展能力小,而基于主流分布式计算框架的处理方法,往往在功能上有所不足.在本文中,我们提出一种基于HTCondor 高通量计算环境的 MODIS 时间序列遥感数据处理方法.该方法通过 HTCondor 系统高效管理与调度硬件资源,同时使用 Python 及其丰富的第三方开源库编写核心控制与处理模块.我们将复杂的工作流以有向无环图的方式呈现并一次提交,将成熟的计算环境与灵活的处理模块相结合,易于扩展与重复使用.实验表明系统可以支持大规模、多需求的遥感影像处理工作,部署便捷,可以显著提成处理效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	阎保平	中国科学院计算机网络信息中心	162	2464	23.0	43.0
2	罗泽	中国科学院计算机网络信息中心	42	157	7.0	10.0
3	郑若冰		3	2	1.0	1.0