基于MapReduce框架的分布式软K段主曲线算法

• 作者: 张红云 胡作梁
• 来源期刊: 数据采集与处理
• 学科: 工学
• 关键词: 分布式并行化 主曲线 数据粒化 MapReduce
• 年，卷（期）: 2017,（3）
• 页码范围: 507-515
• 页数: 9页
• 分类号: TP391
• 字数: 6182字
• 语种: 中文
• DOI: 10.16337/j.1004-9037.2017.03.009

摘要

传统的主曲线算法在小规模数据集上能获得良好的效果,但单节点的计算和存储能力都不能满足海量数据主曲线的提取要求,而算法分布式并行化是目前解决该类问题最有效的途径之一.本文提出基于MapReduce框架的分布式软K段主曲线算法(Distributed soft k-segments principal curve,DisSKPC).首先,基于分布式K-Means算法,采用递归粒化方法对数据集进行粒化,以确定粒的大小并保证粒中数据的关联性.然后调用软K段主曲线算法计算每个粒数据的局部主成分线段,并提出用噪声方差来消除在高密集、高曲率的数据区域可能产生的过拟合线段.最后借助哈密顿路径和贪婪算法连接这些局部主成分线段,形成一条通过数据云中间的最佳曲线.实验结果表明,本文所提出的DisSKPC算法具有良好的可行性和扩展性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张红云	同济大学计算机科学与技术系	31	637	9.0	25.0
5	胡作梁	同济大学计算机科学与技术系	1	2	1.0	1.0