基于邻域视角的关联关系挖掘方法

• 作者: 成红红 梁吉业 胡治国 钱宇华
• 来源期刊: 中国科学（信息科学）
• 关键词: 大数据 复杂关联关系挖掘 关联度量 数据驱动 粒计算 k-NN粒
• 年，卷（期）: 2020,（6）
• 所属期刊栏目: 大数据分析专题
• 页码范围: 824-844
• 页数: 21页
• 语种: 中文

摘要

识别海量变量间潜在的复杂关联关系,判断不同形式关联关系的强弱,是大数据关联关系挖掘的重要任务之一.然而,数据分布的不确定性、关联关系的多样性,使得基于分布假设的关联关系度量和基于数据驱动的非参数度量方法的适用性、准确性难以保证.因此,设计一种对关联关系形式无偏的有效关联度量方法变得至关重要.本文从大数据背景下潜在关联关系应被公平排序的需求出发,回顾了目前关联度量的公理化条件,给出了大数据关联关系度量可能需满足的性质;讨论了两类基于邻域视角的度量方法存在的不足;提出了本文基于k-NN粒的关联度量方法,称为最大邻域系数.人造数据集和真实数据集实验从不同角度验证了本文所提方法的有效性和优越性.最后指出了实验中发现的有趣现象和有待解决的理论问题,以引起对该领域更深入的思考和研究.