面向高维大数据的局部离群点并行检测算法

• 作者: 何美玲 李佩雅
• 来源期刊: 计算机仿真
• 学科: 工学
• 关键词: 局部离群点 降维处理 信息熵 分布式平台
• 年，卷（期）: 2022,（2）
• 所属期刊栏目: 仿真方法与算法
• 页码范围: 304-308
• 页数: 5页
• 分类号: TP301.6
• 语种: 中文
• DOI: 10.3969/j.issn.1006-9348.2022.02.058

摘要

当前局部离群点并行检测算法在实现时,没有消除局部离群点中存在的冗余数据,存在k值不稳定、局部可达密度低、检测时间长的问题,严重影响数据的正常使用,于是提出面向高维大数据的局部离群点并行检测算法.根据信息熵原理采用E-PCA算法提取高维大数据的特征,并消除冗余特征,实现高维大数据的降维处理,提高算法的检测精度;为了在较短的时间内完成局部离群点的并行检测,结合Hadoop分布式平台中的Mapreduce分布框架和传统的离群点检测算法,在高维大数据中完成局部离群点的并行检测.仿真结果表明,所提算法的k值适中、局部可达密度高和检测时间短.