基于监控PaaS的大数据治理研究

• 作者: 于全喜 宁楠 宋尧 廖清阳 王军
• 来源期刊: 电力大数据
• 学科: 社会科学
• 关键词: 数据治理 云原生 流计算 弹性消息队列 实时数据库 混合存储
• 年，卷（期）: 2020,（9）
• 所属期刊栏目: 大数据专题
• 页码范围: 50-57
• 页数: 8页
• 分类号: C39
• 语种: 中文

摘要

为解决区域能源互联网数据质量差的问题,设计了基于监控PaaS的大数据治理框架,通过PaaS平台、DM8MPP数据库、Spark计算引擎等技术,支撑构建消息传输桥接代理、分片内存索引快照、流计算数据清洗、数据混合存储等传统ETL工具缺乏的流计算模块,实现云原生数据采集处理与数据治理技术的融合互补.本文采用Kafka消息动态代理,实现跨层、广域、无感知的消息发布/订阅;基于HashMap和智能指针构建分片内存快照,扩展实现索引快照,实现跨节点、跨容器的快速信息访问;研究流计算数据清洗技术,实现多源遥测、遥信的连续真值计算;研究混合数据存储模型,解决大数据平台多样化数据的分布式存储及访问问题.通过仿真测试结果分析,本研究提高了能源大数据接入及存储水平,为数据服务总线提供更方便的数据访问支持.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	于全喜		5	2	1.0	1.0
2	王军		1	0	0.0	0.0
3	宋尧		1	0	0.0	0.0
4	宁楠		1	0	0.0	0.0
5	廖清阳		1	0	0.0	0.0