基于MapReduce的高铁振动数据预处理

• 作者: 李天瑞 王仲刚 赵成兵 高子喆
• 来源期刊: 南京大学学报：自然科学版
• 学科: 工学
• 关键词: 并行化 MapReduce 高铁 振动 预处理
• 年，卷（期）: 2012,（4）
• 所属期刊栏目: 粗糙集与粒计算进展
• 页码范围: 390-396
• 分类号: TP274.2
• 语种: 中文

摘要

从高铁数据中分析得到高速列车的运行状况对保障高铁安全至关重要．列车的振动数据就是其中之一，这些振动数据是通过多个传感器以一定的采样频率得来的．一个1～2d的测试实验将得到GB以上的数据，因此振动数据分析之前的预处理过程必不可少，包括异常点处理、消除线性趋势项等．异常点处理是指先用通用规则发现异常点，并用其邻近的数据点来恢复它的值．线性趋势项是指测试设备的原因使得采集的数据有一个线性的偏移，不处理偏移，则误差将会进一步累积．传统的振动数据预处理方法是顺序逐个处理文件，处理时间长，不能满足要求，且受内存的限制不能处理大文件．本文旨在提高振动数据的预处理效率，在研究现有高铁振动数据预处理方法和MapReduee机制的基础上，实现了包括异常点处理，线性趋势项消除方法的并行化，并在Hadoop平台上实现．同时设计了实验来验证方法的有效性和并行结果的一致性．实验在含6个节点（1个Master，5个Slaves）的集群上进行，实验结果表明所提出的方法可以处理大数据文件而且提高了处理效率．而且三个并行计算性能评价指标Speedup，sca[eup，Sizeup的实验结果也显示出本方法的优越性．

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李天瑞	西南交通大学信息科学与技术学院	116	965	17.0	24.0
2	赵成兵	西南交通大学信息科学与技术学院	1	17	1.0	1.0
3	王仲刚	西南交通大学信息科学与技术学院	1	17	1.0	1.0
4	高子喆	西南交通大学信息科学与技术学院	2	22	2.0	2.0