多源异构的智能配用电数据存储处理技术

• 作者: 王守相 王尧 葛磊蛟 郭乃网
• 来源期刊: 电工技术学报
• 学科: 工学
• 关键词: 大数据 海量数据 框架设计 智能配用电
• 年，卷（期）: 2015,（z2）
• 所属期刊栏目: 电力系统
• 页码范围: 159-168
• 页数: 10页
• 分类号: TM711
• 字数: 4850字
• 语种: 中文

摘要

针对智能配用电数据具有海量、多源异构等特点，提出一种基于 Hadoop 的智能配用电数据存储处理的框架设计方案。在对智能配用电数据组成进行梳理的基础上，提出了智能配用电的资源、存储和查询三层数据存储框架。其中，资源层采用 Hadoop 集群架构，结合电力系统的行业特色，完成IT存储资源管理；存储层则先采用XML技术进行数据预处理，使非结构化数据归一化，然后利用NoSQL数据库通过Map和Reduce的有效结合，完成海量数据的快速存储；查询层利用 To p-k 检索技术，实现海量数据的快速查寻。该设计方案能够对结构化和非结构化数据进行统一存储，可为智能配用电大数据技术的应用提供基础支撑。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王守相	天津大学电气与自动化工程学院	96	5815	36.0	76.0
2	王尧	河北工业大学电气工程学院	35	424	11.0	20.0
3	葛磊蛟	天津大学电气与自动化工程学院	66	585	14.0	22.0
4	郭乃网		15	30	4.0	4.0