基于Hadoop的风力发电监测大数据存储优化及并行查询方法

• 作者: 张焰 王林童 苏运 赵腾
• 来源期刊: 电测与仪表
• 学科: 工学
• 关键词: 大数据 风力发电监测 Hadoop 哈希分桶算法
• 年，卷（期）: 2018,（11）
• 所属期刊栏目: 理论与实验研究
• 页码范围: 1-6
• 页数: 6页
• 分类号: TM721
• 字数: 4932字
• 语种: 中文
• DOI: 10.3969/j.issn.1001-1390.2018.11.001

摘要

随着风力发电的广泛发展以及智能化监测技术的推广应用,风力发电监测数据呈现出体量大、类型多、增长快的大数据特征.针对风力发电监测大数据高效存储和快速查询两方面核心问题,基于Hadoop平台进行大数据存储优化方法研究,提出考虑风力发电监测数据关联性的哈希分桶存储算法,实现了相关联数据的集中存储,从而提升后期数据查询及处理的效率.在数据存储优化的基础上,实现基于MapReduce的多源风力发电监测大数据并行关联查询.通过在Hadoop平台上进行测试表明,经过哈希分桶存储优化后的多源数据并行关联查询相比传统Hadoop方法查询时间显著缩短.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张焰	上海交通大学电气工程系	167	6240	40.0	74.0
2	赵腾	上海交通大学电气工程系	5	213	4.0	5.0
3	苏运	国网上海市电力公司电力科学研究院	27	167	7.0	12.0
4	王林童	上海交通大学电气工程系	1	7	1.0	1.0