基于Hadoop的智能电网时序大数据处理方法

• 作者: 孙利宏
• 来源期刊: 计算机仿真
• 学科: 工学
• 关键词: 智能电网 时序大数据 处理
• 年，卷（期）: 2020,（12）
• 所属期刊栏目: 能源领域仿真
• 页码范围: 67-71
• 页数: 5页
• 分类号: TP311
• 语种: 中文

摘要

为了提高电网数据处理的安全性和效率,提出基于Hadoop的智能电网时序大数据处理方法.依据智能电网时序大数据简析,结合Map、Reduce及Partition三个函数具备的过滤器和工厂法以及监听器等一系列模式,实现数据清洗处理.依据分布式计算思想,结合近邻分类法和Map-Reduce模型设计的并行分类混合法,实现数据分类处理.对分类数据进行安全存储,通过消息摘要算法针对需要存储的智能电网时序大数据生成相应数字摘要;根据密钥生成函数获取随机密钥,同时利用上述密钥针对待存储数据实行加密,获取对应密文.针对获取的随机密钥实行信息隐藏处理;把密文存储至云中;当密文成功存储至云之后,把获取的密钥和数字摘要两种信息并同文件名至HBase中,实现数据存储.仿真结果表明,上述方法具有较强的安全性与时效性.