高维大数据分析的无监督异常检测方法

• 作者: 邹承明 陈德
• 来源期刊: 计算机科学
• 学科: 工学
• 关键词: 数据挖掘 无监督异常检测 降维 高斯混合模型 密度估计
• 年，卷（期）: 2021,（2）
• 所属期刊栏目: 数据库&大数据&数据科学
• 页码范围: 121-127
• 页数: 7页
• 分类号: TP391
• 语种: 中文
• DOI: 10.11896/jsjkx.191100141

摘要

高维数据的无监督异常检测是机器学习的重要挑战之一.虽然先前基于单一深度自动编码器和密度估计的方法已经取得了显著的进展,但是其仅通过一个深度自编码器来生成低维表示,这表明没有足够的信息来执行后续的密度估计任务.为了解决上述问题,文中提出了一种混合自动编码器高斯混合模型(Mixed Auto-encoding Gaussian Mixture Model,MAGMM).MAGMM使用混合自动编码器来代替单一深度自动编码器生成串联的低维表示,因此它可以保存来自输入样本的特定集群的关键信息.此外,其利用分配网络来约束混合自动编码器,这样每个样本都可以分配给一个占主导地位的自动编码器.利用上述机制,MAGMM避免了陷入局部最优,降低了重构误差,从而可以促进密度估计任务的完成,提高高维数据异常检测的准确性.实验结果表明,该方法优于DAGMM,并在标准F1分数上提高了29％.