容错存储的电力系统监测数据查询优化技术

• 作者: 屈志坚 陈阁
• 来源期刊: 电网技术
• 学科: 工学
• 关键词: 电力监测 云计算 容错 查询优化
• 年，卷（期）: 2015,（11）
• 所属期刊栏目: 能源互联网(特约栏目主编 孙宏斌、冯庆东)
• 页码范围: 3221-3227
• 页数: 7页
• 分类号: TM73
• 字数: 4846字
• 语种: 中文
• DOI: 10.13335/j.1000-3673.pst.2015.11.031

摘要

针对电力系统监测中大量时间序列数据存储和高效查询的问题，利用云计算框架和HQL(Hive SQL)查询引擎，提出一种容错存储的分级分区查询优化方法。通过副本机制设计电力监测数据容错存储模式，综合运用了HQL查询计划生成、向Map/Reduce的转化和分区剪枝处理，进行了加载和查询优化测试。结果表明，当加载的监测数据记录超过200万条、查询数据记录超过380万条后，HQL的处理性能将远超SQL，数据量越大，优势越明显。分级分区查询测试结果表明，在查询耗时相近的条件下，分区查询的数据量可以扩大2个数量级，且二级分区比一级分区更高效，验证了查询优化技术可有效提高电力系统监测信息查询处理的效率，为大量电力监测数据处理提供了一种查询优化方法。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	屈志坚	华东交通大学电气工程学院	70	426	12.0	18.0
2	陈阁	华东交通大学电气工程学院	3	19	3.0	3.0