基于信息熵的高维稀疏大数据降维算法研究

• 作者: 何兴高 刘行 李蝉娟 王瑞锦 邓伏虎
• 来源期刊: 电子科技大学学报
• 学科: 工学
• 关键词: 分块处理 降维处理 高维稀疏大数据 信息熵 主成分分析
• 年，卷（期）: 2018,（2）
• 所属期刊栏目: 计算机工程与应用
• 页码范围: 235-241
• 页数: 7页
• 分类号: TP309
• 字数: 5767字
• 语种: 中文
• DOI: 10.3969/j.issn.1001-0548.2018.02.012

摘要

数据降维是从高维数据中挖掘有效信息的必要步骤.传统的主成分分析(PCA)算法应用于超高维稀疏数据降维时,存在着无法将所有数据特征一次性读入内存以进行分析计算的问题,而之后提出的分块处理PCA算法由于耗时太长,并不能满足实际需求.本文引入信息熵的思想对PCA算法进行改进,提出E-PCA算法,先利用信息熵对数据进行特征筛选,剔除大部分无用特征,再使用PCA算法对处理后的超高维稀疏数据进行降维.通过实验结果表明,在保留相同比例原数据信息的情况下,本文提出的基于信息熵的E-PCA算法在内存占用、运行时间以及降维结果都优于分块处理PCA算法.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王瑞锦	电子科技大学信息与软件工程学院	37	180	7.0	12.0
2	邓伏虎	电子科技大学信息与软件工程学院	4	9	1.0	3.0
3	何兴高	电子科技大学信息与软件工程学院	12	81	5.0	8.0
4	李蝉娟	电子科技大学信息与软件工程学院	3	17	3.0	3.0
5	刘行	电子科技大学信息与软件工程学院	2	10	2.0	2.0