基于Hadoop的车辆轨迹数据预处理

• 作者: 胡思琴 邬少飞
• 来源期刊: 工业技术创新
• 关键词: 车辆轨迹数据 Hadoop 数据预处理 分布式文件系统 MapReduce 行驶纠偏
• 年，卷（期）: 2021,（3）
• 所属期刊栏目: 专题:数据资源管理
• 页码范围: 15-20
• 页数: 6页
• 分类号: TP311
• 语种: 中文
• DOI: 10.14103/j.issn.2095-8412.2021.06.003

摘要

为了更有效地挖掘车辆轨迹数据,准确应用数据,为智慧交通服务,提出一种基于Hadoop的车辆轨迹数据分析和预处理方法.针对现有车载终端设备存在不规则数据较多、计算量较大、无法准确计算距离等问题,提出设计方案:采用Hadoop分布式文件系统(HDFS),实现小文件合并,提高运行效率;通过MapReduce并行计算和Hive数据仓库实现无效数据、时间错误数据、车速零点漂移数据、车速变化超出阈值数据,以及经纬度异常数据的清洗;根据轨迹点加速度、速度以及车辆状态等参数,预先判断轨迹点的可能位置,实现轨迹纠偏.对某车辆9天内的244383条数据进行预处理测试,结果表明:14.97％的不规则数据得以清洗.将轨迹数据以可视化的形式展现在地图上,实现车辆在道路上的行驶纠偏功能,大大提高了轨迹数据的可用性.