基于大数据平台的货车超偏载数据分车计算研究

• 作者: 刘宗洋 杨连报 王喆
• 来源期刊: 铁道货运
• 学科: 交通运输
• 关键词: 铁路大数据 超偏载检测 Spark SQL 分布式计算 数据仓库
• 年，卷（期）: 2019,（5）
• 所属期刊栏目: 货运信息化
• 页码范围: 22-26
• 页数: 5页
• 分类号: U298.3
• 字数: 3416字
• 语种: 中文
• DOI: 10.16669/j.cnki.issn.1004-2024.2019.05.05

摘要

铁路货运超偏载监控设备在日常运行中生成并积累了大量的结构化数据,如何突破传统业务系统处理能力的限制实现对海量历史数据的分车计算是对超偏载数据挖掘的关键所在.概述货车超偏载数据分车计算,针对存在的问题,提出以大数据平台为载体,基于分布式内存计算框架实现海量超偏载数据的分车计算,经2种方案进行验证,结果充分证明分车计算方案的正确性.依托铁路数据服务平台的分布式计算架构,对海量的铁路货车超偏载检测数据进行统计分析,实现分车(运输任务去重)计算,为后续开展铁路货运分析奠定基础.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	杨连报	中国铁道科学研究院集团有限公司电子计算技术研究所	17	86	5.0	9.0
2	刘宗洋	中国铁道科学研究院集团有限公司电子计算技术研究所	5	15	2.0	3.0
3	王喆	中国铁道科学研究院集团有限公司电子计算技术研究所	13	44	5.0	6.0