基于Spark的飞机试验数据预处理技术研究

• 作者: 孙立伟 房红征 李利荣 杨浩 王晓栋
• 来源期刊: 计算机测量与控制
• 关键词: 飞行试验 数据预处理 分布式技术 内存计算
• 年，卷（期）: 2018,（12）
• 所属期刊栏目: 试验与评价技术
• 页码范围: 260-264
• 页数: 5页
• 分类号: P474.2
• 语种: 中文
• DOI: 10.16526/j.cnki.11-4762/tp.2018.12.057

摘要

飞机飞行试验是飞机交付运营前的必要环节,在飞机飞行试验过程中会产生大量的试验数据,这些数据对飞机的研制、定型、改进具有重要意义;传统的试验数据预处理技术多采用单机工作模式,无法快速处理海量试验数据,鉴于此,对基于spark分布式内存计算技术进行了研究;通过预先剔除参数组中不存在于当前数据文件中的参数群,减少分布式集群间的数据通讯与航空领域429协议、232协议、664协议的数据预处理时间,提高飞行试验的效率;最后,选择30 GB飞行试验数据作为实验对象进行验证,结果表明,该方法有效地提高了数据解析效率,克服了传统数据处理方式效率低下,单个机器内存和CPU等硬件条件不足的问题.