配电网监测数据的分布式Map压缩-查询技术

• 作者: 屈志坚 王群峰 陈鼎龙
• 来源期刊: 电力自动化设备
• 学科: 工学
• 关键词: 配电网 大数据 集群平台 分布式压缩 压缩-查询
• 年，卷（期）: 2017,（12）
• 所属期刊栏目: 探讨与应用
• 页码范围: 192-199
• 页数: 8页
• 分类号: TM727|TP311
• 语种: 中文
• DOI: 10.16081/j.issn.1006-6047.2017.12.027

摘要

针对配电自动化中大量电力监测数据的处理问题,提出了回避聚合操作的配电网监测数据分布式Map压缩-查询新方法.通过将监测数据分布式Map压缩存储,利用HQL查询引擎及压缩接口将分布式Map压缩应用到连接查询的混洗阶段中,减小传递到查询聚合端的数据量,提高压缩数据的查询速度,并推导了时效性的相关公式.以北京某动车段10 kV电力远动监控系统的实测数据为例,搭建了四节点测试集群.压缩导入对比测试表明,分布式Map压缩速度快于分布式Reduce压缩,分布式Map的Map_Deflate压缩处理时间比分布式Reduce Deflate减少了45.3％;压缩-查询测试表明,当数据量为2×107记录级时,分布式Map的Map_LZO格式压缩-查询耗时大幅降低,比混洗阶段不压缩-查询时减少了31.6％,验证了分布式Map压缩对加速查询的时效性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	屈志坚	华东交通大学电气与自动化工程学院	70	426	12.0	18.0
2	王群峰	华东交通大学电气与自动化工程学院	3	3	1.0	1.0
3	陈鼎龙	华东交通大学电气与自动化工程学院	4	6	1.0	2.0