海量小数据分布式聚类优化与负载均衡算法

• 作者: 汪明明 陈庆奎
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 海量小数据 分布式系统 聚类 负载均衡 传感器
• 年，卷（期）: 2018,（2）
• 所属期刊栏目: 先进计算与数据处理
• 页码范围: 40-45
• 页数: 6页
• 分类号: TP311.1
• 字数: 4545字
• 语种: 中文

摘要

SensorFS系统中的集中式传感器聚类算法会使主节点成为系统瓶颈,并且在传感器量大时速度较慢.为此,分别设计分布式传感器聚类算法和细粒度负载均衡算法对系统进行改进.令主节点只负责初始写调度,传感器再次发出写请求时则直接与对应的ChunkServer节点进行交互.在各ChunkServer节点内部利用传感依赖图进行传感器聚类,得到多个传感器类后由主节点聚类.在此基础上,根据各传感器产生数据的速度计算服务器负载,以传感器类为最小单位进行细粒度迁移.实验结果表明,分布式聚类算法和负载均衡算法能有效提升Hadoop分布式文件系统对海量传感小数据的读写性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈庆奎	上海理工大学光电信息与计算机工程学院	149	769	14.0	22.0
5	汪明明	上海理工大学光电信息与计算机工程学院	1	1	1.0	1.0