Hadoop云构架的智能调度无损集群压缩技术

• 作者: 屈志坚 蒋俊俊 郭亮 陈秋琳
• 来源期刊: 电力系统自动化
• 关键词: 智能调度 Hadoop构架 云计算节点 无损压缩 压缩比
• 年，卷（期）: 2013,（18）
• 所属期刊栏目: 研制与开发
• 页码范围: 93-98
• 页数: 6页
• 字数: 2946字
• 语种: 中文
• DOI: 10.7500/AEPS201301138

摘要

针对智能调度系统中的大数据集信息压缩处理问题,利用Hadoop框架和Map/Reduce分布式编程模型,提出了一种基于云架构的无损集群压缩新方法.对字典编码和统计编码的无损压缩进行了分类比较,利用云计算节点的集群网络配置方式进行调度主极和监控服务器的部署,在集群数据节点中融入无损压缩,建立调度监控信息的无损集群压缩实验环境.利用调度端的断面量测记录进行测试研究,得出:对于相同断面记录集的无损压缩,BZip2格式的集群压缩比优于Deflate和Gzip格式.对不同断面记录集的BZip2集群压缩结果表明:在断面记录超过3×106以上时,压缩比达到81.1％,相对传统无损压缩方法提高30％以上.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	屈志坚	华东交通大学电气与电子工程学院	70	426	12.0	18.0
2	陈秋琳		9	77	5.0	8.0
3	郭亮	华东交通大学电气与电子工程学院	5	46	4.0	5.0
4	蒋俊俊	华东交通大学电气与电子工程学院	4	37	2.0	4.0