云平台下输变电设备状态监测大数据存储优化与并行处理

• 作者: 周国亮 宋亚奇 朱永利 李莉 王刘旺 王德文
• 来源期刊: 中国电机工程学报
• 学科: 工学
• 关键词: 大数据 输变电设备 状态监测 一致哈希 云计算
• 年，卷（期）: 2015,（2）
• 所属期刊栏目: 大数据与电力系统
• 页码范围: 255-267
• 页数: 13页
• 分类号: TM764
• 字数: 10748字
• 语种: 中文
• DOI: 10.13334/j.0258-8013.pcsee.2015.02.001

摘要

结合大数据技术提升输变电设备状态评价的广度和深度,并解决实际应用问题成为目前电力行业新的挑战.针对输变电设备状态监测大数据可靠存储和快速访问两方面大数据处理核心问题,基于开源的Hadoop云计算实验平台进行了数据分布策略、数据块尺寸调优、集群网络拓扑规划三方面的存储优化研究和大数据并行分析的研究.提出计及数据相关性的多副本一致哈希数据存储算法,能将具有相关性的数据在集群中聚集,提升数据处理执行效率.基于数据相关性多副本一致哈希数据分布,应用MapReduce并行编程模型设计实现了多数据源并行连接查询算法和多通道数据融合并行特征提取算法.将两种算法在实验室搭建的集群上测试运行,结果表明,多数据源并行连接查询的执行时间仅为标准Hadoop方案的32％,多通道数据融合并行特征提取算法执行时间仅为标准Hadoop方案的35％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王德文	华北电力大学控制与计算机工程学院	61	2241	26.0	47.0
2	朱永利	华北电力大学控制与计算机工程学院	268	5516	39.0	62.0
3	李莉	华北电力大学控制与计算机工程学院	65	688	14.0	24.0
4	宋亚奇	华北电力大学控制与计算机工程学院	17	1166	9.0	17.0
5	周国亮	华北电力大学控制与计算机工程学院	7	706	5.0	7.0
6	王刘旺	华北电力大学控制与计算机工程学院	11	374	7.0	11.0