基于Hadoop的探地雷达数据并行处理方法研究

• 作者: 杨峰 梁胤程 袁嫒
• 来源期刊: 系统仿真学报
• 学科: 工学
• 关键词: Hadoop 探地雷达数据 Storm 卷积 增益 并行化
• 年，卷（期）: 2017,（1）
• 所属期刊栏目: 仿真系统与技术
• 页码范围: 120-128
• 分类号: TP391
• 语种: 中文
• DOI: 10.16182/j.issn1004731x.joss.201701017

摘要

大数据及云计算等技术带来的科研方式的转变影响着探地雷达数据处理领域的研究工作,利用云计算平台对大规模探地雷达数据进行了数据解析的研究工作,通过流式处理框架Storm平台对产生的探地雷达数据进行了数据预处理,解决了探地雷达数据格式与Hadoop平台数据处理输入格式不匹配的问题.并在Hadoop平台下实现了并行化的卷积、反卷积与增益相结合的数据滤波处理,对滤波效果和运行性能指标进行了分析.仿真实验结果表明,该方法能准确有效地对探地雷达数据进行滤波解析,在运算速度、并行化加速度性能上都较传统方法有明显的改善.