基于分布式减法聚类的不完整数据填充算法

• 作者: 张清辰 赵亮 陈志奎
• 来源期刊: 小型微型计算机系统
• 学科: 工学
• 关键词: 大数据 缺失值填充 减法聚类 MapReduce模型
• 年，卷（期）: 2015,（7）
• 所属期刊栏目: 计算机软件与数据库研究
• 页码范围: 1409-1414
• 页数: 6页
• 分类号: TP301
• 字数: 7857字
• 语种: 中文

摘要

不完整数据填充是数据预处理领域重要研究课题.传统数据填充算法时间复杂度高,算法不具有分布式处理特性,不满足大数据环境下对数据快速处理的要求.提出一种基于分布式减法聚类的不完整数据填充算法,算法首先利用改进的减法聚类算法对整个数据集进行聚类.为了提高聚类算法的效率,利用云计算技术对聚类算法进行优化,实现基于多级MapReduce的分布式减法聚类算法.然后根据聚类结果和加权距离对缺失数据值进行填充,在保证数据填充精度的同时大幅度降低了填充过程的处理时间.实验结果表明,本文提出的方法能够对大数据进行快速聚类,同时有效保证缺失数据的填充精度.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	赵亮	大连理工大学软件学院	75	528	12.0	19.0
2	陈志奎	大连理工大学软件学院	35	238	11.0	14.0
3	张清辰	大连理工大学软件学院	15	132	8.0	11.0