面向建设期铁路大数据的分级存储方法研究

• 作者: 廉小亲 杨凯 程智博 王万齐 吴艳华
• 来源期刊: 铁路计算机应用
• 学科: 交通运输
• 关键词: 建设期铁路大数据 数据价值 分级存储 专家评价法 K-means聚类算法
• 年，卷（期）: 2022,（2）
• 所属期刊栏目: 大数据技术|Big Data Technology
• 页码范围: 17-22
• 页数: 6页
• 分类号: U29:TP39
• 语种: 中文
• DOI: 10.3969/j.issn.1005-8451.2022.02.04

摘要

我国铁路网包含众多建设期和运营期路段,均会产生大量业务数据,然而传统的单节点大数据存储方式存在访问速度慢和时效性低等局限性,无法有效缓解数据存储压力.文章基于数据分级存储的思想,设计一种分布式大数据分级存储架构;综合考虑建设期铁路大数据的业务属性和存储数据库的固有属性,建立一套数据价值评价体系;基于专家评价法计算各数据表在不同评价维度下的价值,并通过K-means聚类算法判定各数据表相应的存储级别;以某建设期铁路大数据为实验样本进行验证,实验结果表明,文章提出的价值评价体系能够有效地对铁路建设期大数据进行存储级别判定,实现了面向建设期铁路大数据的分级存储.