电网行业元数据集成数据存储策略研究

• 作者: 万婵 魏理豪 杨秋勇 杨朝谊 苏华权
• 来源期刊: 微型电脑应用
• 学科: 工学
• 关键词: 元数据 哈希分桶算法 MapReduce框架
• 年，卷（期）: 2021,（1）
• 所属期刊栏目: 基金项目
• 页码范围: 26-28,32
• 页数: 4页
• 分类号: TP391
• 语种: 中文

摘要

针对当前电网行业产生的海量数据,提出采用规范化元数据管理等方式来实现对电力行业数据的统一存储与管理方案.首先通过数据预处理,将不同格式的电力数据统一转换为XML格式数据,然后采用中间件技术实现对XML数据抽取与访问;其次,针对大规模数据存储问题,提出基于哈希分桶算法对数据进行存储,以提高数据存储的效率;再次采用MapRe-duce框架对数据进行查询;通过对电力行业的部分数据进行查询试验,结果表明在查询时间方面,具有优势.