数据挖掘中并行离散化数据准备优化

• 作者: 刘云 袁浩恒
• 来源期刊: 四川大学学报（自然科学版）
• 学科: 工学
• 关键词: 数据挖掘 数据准备 并行调用 分布检测 数据离散化
• 年，卷（期）: 2018,（5）
• 所属期刊栏目: 电子信息科学
• 页码范围: 993-999
• 页数: 7页
• 分类号: TN929.5
• 字数: 5183字
• 语种: 中文
• DOI: 10.3969/j.issn.0490-6756.2018.05.014

摘要

在海量数据挖掘中,针对元数据的离散化数据准备处理能有效提高数据挖掘效率.本文提出了一种并行比较并获得最优离散化的数据准备算法(AOA),针对不同数据集,先进行数据集的特性检测以获得数据集分布特性,按照分布特性进行数据集的异常值检测和剔除,并行完成与分布特性适配的离散化方法处理,通过比较不同离散化方法的熵、方差指数、稳定性参数的最小欧氏距离,根据三个参数自动化比选,获得最优离散化的预处理成果.仿真表明,对不同样本数据库进行关联规则挖掘结果中,比较四种固定的离散化数据预处理方法,在使用AOA数据准备算法并行比选出最优的离散化来数据预处理后,在不同最小支持度阈值情况下,挖掘得到关联规则数都更少,因此效率得到提高.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘云	昆明理工大学信息工程与自动化学院	73	209	7.0	10.0
2	袁浩恒	昆明理工大学信息工程与自动化学院	2	8	1.0	2.0