基于Hadoop的智能配用电数据存储处理的设计研究

• 作者: 曾麒杰 符晓洪 柳羿 何宽政 张升平
• 来源期刊: 电子设计工程
• 关键词: Hadoop 智能配用电 密钥管理 存储处理
• 年，卷（期）: 2021,（11）
• 所属期刊栏目: 通信与网络|Communication & Network
• 页码范围: 136-139
• 页数: 4页
• 分类号: TN95
• 语种: 中文
• DOI: 10.14022/j.issn1674-6236.2021.11.029

摘要

智能配用电数据具有海量以及多源异构等特点,针对这些数据需要实施有效的存储处理设计,以实现智能配用电数据的快速存储和处理,提出了基于Hadoop的智能配用电数据存储处理设计方案,建构智能配用电数据的资源、存储以及查询存储框架,实现对数据的存储资源管理、数据预处理以及数据归一化处理等,以有效实现海量数据的快速存储.在Top-k检索技术的应用下,实现数据的迅速查询.数据存储处理中通过密钥和密文管理分离,提升密钥管理的便利性,以此确保数据存储的安全性.通过对Hadoop智能配用电数据存储系统的实验分析,充分证实这一方法可以有效满足数据存储速度需求,提升数据安全,具有有效性以及可用性.