Spark框架下交通流数据高效处理方法及其应用

• 作者: 李欣
• 来源期刊: 北京大学学报（自然科学版）
• 学科: 地球科学
• 关键词: Spark 数据清洗 语义查询 空间权重矩阵 交通流预测
• 年，卷（期）: 2018,（6）
• 所属期刊栏目: 研究论文
• 页码范围: 1227-1234
• 页数: 8页
• 分类号: P91
• 字数: 6346字
• 语种: 中文
• DOI: 10.13209/j.0479-8023.2018.070

摘要

设计并实现基于Spark的交通流数据处理与预测分析应用框架,可以完成交通流数据的高效清洗、统计、存储和查询.利用基于多阶空间权重矩阵的STARIMA模型进行交通流预测分析,可以验证数据处理效率及对预测应用的支撑作用.对比实验结果表明:1)交通流数据处理框架运行效率高,适用于复杂的数据清洗和挖掘算法,为预测模型建立数据支撑;2)交通流预测模型对空间权重矩阵进行了多阶优化,兼顾高效性和准确性,预测分析结果可以为交通诱导提供参考.