基于主成分分析的并行化数据流降维算法研究

• 作者: 单燕 孙杜靖 李玲娟
• 来源期刊: 南京邮电大学学报（自然科学版）
• 学科: 工学
• 关键词: 数据流 PCA 并行化 Storm
• 年，卷（期）: 2015,（5）
• 所属期刊栏目: 计算机与自动控制
• 页码范围: 99-104
• 页数: 6页
• 分类号: TP391
• 字数: 4053字
• 语种: 中文
• DOI: 10.14132/j.cnki.1673-5439.2015.05.014

摘要

降维是指将样本从输入空间通过线性或非线性方法映射到一个低维空间,从而获得一个关于原数据集的低维表示的过程,它是高维数据挖掘的重要预处理手段之一.文中以适应数据流挖掘需求和保证降维后数据的可用性为目标,设计了基于主成分分析的并行化数据流降维算法PSP-CA.该算法使用滑动窗口机制来确定处理数据的范围,同时合并了PCA的标准化过程,改变了相关系数矩阵的计算方法,将有关计算过程基于MapReduce并行化,还将所设计的算法基于流平台Storm进行了实现.并以聚类算法K-means为例,通过实验,对比了K-means在降维前和降维后的数据集上的聚类效果.实验结果表明,PSPCA适用于数据流降维,且降维后的数据能将原数据的信息量保留在合理范围内,能保证后续数据挖掘的准确性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李玲娟	南京邮电大学计算机学院	88	927	14.0	26.0
2	孙杜靖	南京邮电大学计算机学院	4	39	3.0	4.0
3	单燕	南京邮电大学计算机学院	1	14	1.0	1.0