基于Hash改进的k-means算法并行化设计

• 作者: 张波 徐蔚鸿 朱玲 陈沅涛
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: 海量数据 Hadoop Hash 并行k-means聚类 中心选取
• 年，卷（期）: 2016,（10）
• 所属期刊栏目: 高性能计算
• 页码范围: 1980-1985
• 页数: 6页
• 分类号: TP399
• 字数: 5111字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2016.10.005

摘要

为了解决k-means算法在Hadoop平台下处理海量高维数据时聚类效果差,以及已有的改进算法不利于并行化等问题,提出了一种基于Hash改进的并行化方案.将海量高维的数据映射到一个压缩的标识空间,进而挖掘其聚类关系,选取初始聚类中心,避免了传统k-means算法对随机选取初始聚类中心的敏感性,减少了k-means算法的迭代次数.又结合MapReduce框架将算法整体并行化,并通过Partition、Combine等机制加强了并行化程度和执行效率.实验表明,该算法不仅提高了聚类的准确率和稳定性,同时具有良好的处理速度.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	徐蔚鸿	长沙理工大学计算机与通信工程学院	85	647	14.0	21.0
2	陈沅涛	长沙理工大学计算机与通信工程学院	34	125	7.0	10.0
3	朱玲	长沙理工大学计算机与通信工程学院	7	16	2.0	4.0
4	张波	长沙理工大学计算机与通信工程学院	9	15	2.0	3.0