基本信息来源于合作网站,原文需代理用户跳转至来源网站获取       
摘要:
相似记录检测已成为数据清洗的一个重要分支,也是消除数据冗余提高数据质量的一个重要途径,在数据统计、数据分析、数据仓库、人工智能和数据挖掘等领域都有实际应用.该文对目前相似记录检测方法进行了研究,针对诸多方法都存在检测精度不足和时效慢的问题,采用K-Modes进行聚类分组的方法,通过信息熵理论来确定属性权重并约简属性维度,同时在记录匹配阶段依据属性重要程度对各聚类分组的数据逐属性进行比较,根据阈值来判断其相似性,避免整条记录参与匹配耗费时间,在完成对每个数据集的检测后最终消除相似重复记录.实验表明,该方法能有效缩小检测数据集范围和相似匹配效率,提高检测精度和时间效率,具有较高的查全率和查准率.
推荐文章
基于内码序值聚类的相似重复记录检测方法
相似重复记录
内码序值
聚类
等级法
一种基于VSM的检测相似重复记录的方法
空间向量模型
聚类
相似重复记录
权重
优先队列
基于改进型遗传神经网络的相似重复记录检测
相似重复记录
遗传算法
神经网络
数据清洗
基于R-树索引的高维相似重复记录检测改进算法
SNM算法
R-树索引
高维空间特性
改进距离算法
数据稀疏性
内容分析
关键词云
关键词热度
相关文献总数  
(/次)
(/年)
文献信息
篇名 基于信息熵属性约简的相似重复记录检测方法
来源期刊 计算机与数字工程 学科 工学
关键词 相似重复记录 K-Modes聚类算法 信息熵 相似检测
年,卷(期) 2019,(12) 所属期刊栏目 算法与分析
研究方向 页码范围 2966-2972
页数 7页 分类号 TP18
字数 5204字 语种 中文
DOI 10. 3969/j. issn. 1672-9722. 2019. 12. 006
五维指标
作者信息
序号 姓名 单位 发文数 被引次数 H指数 G指数
1 陈彦萍 47 204 6.0 11.0
2 杨小宝 14 27 3.0 4.0
3 洪明杰 1 1 1.0 1.0
传播情况
(/次)
(/年)
引文网络
引文网络
二级参考文献  (61)
共引文献  (174)
参考文献  (11)
节点文献
引证文献  (1)
同被引文献  (11)
二级引证文献  (0)
1976(1)
  • 参考文献(0)
  • 二级参考文献(1)
1994(1)
  • 参考文献(0)
  • 二级参考文献(1)
1996(2)
  • 参考文献(0)
  • 二级参考文献(2)
1998(2)
  • 参考文献(1)
  • 二级参考文献(1)
1999(2)
  • 参考文献(1)
  • 二级参考文献(1)
2000(3)
  • 参考文献(1)
  • 二级参考文献(2)
2001(2)
  • 参考文献(0)
  • 二级参考文献(2)
2002(3)
  • 参考文献(0)
  • 二级参考文献(3)
2003(1)
  • 参考文献(0)
  • 二级参考文献(1)
2004(1)
  • 参考文献(0)
  • 二级参考文献(1)
2005(3)
  • 参考文献(0)
  • 二级参考文献(3)
2006(2)
  • 参考文献(0)
  • 二级参考文献(2)
2007(7)
  • 参考文献(1)
  • 二级参考文献(6)
2008(2)
  • 参考文献(0)
  • 二级参考文献(2)
2009(1)
  • 参考文献(0)
  • 二级参考文献(1)
2010(7)
  • 参考文献(1)
  • 二级参考文献(6)
2011(3)
  • 参考文献(0)
  • 二级参考文献(3)
2012(7)
  • 参考文献(0)
  • 二级参考文献(7)
2013(5)
  • 参考文献(2)
  • 二级参考文献(3)
2014(8)
  • 参考文献(0)
  • 二级参考文献(8)
2015(5)
  • 参考文献(1)
  • 二级参考文献(4)
2016(3)
  • 参考文献(2)
  • 二级参考文献(1)
2017(1)
  • 参考文献(1)
  • 二级参考文献(0)
2019(0)
  • 参考文献(0)
  • 二级参考文献(0)
  • 引证文献(0)
  • 二级引证文献(0)
2020(1)
  • 引证文献(1)
  • 二级引证文献(0)
研究主题发展历程
节点文献
相似重复记录
K-Modes聚类算法
信息熵
相似检测
研究起点
研究来源
研究分支
研究去脉
引文网络交叉学科
相关学者/机构
期刊影响力
计算机与数字工程
月刊
1672-9722
42-1372/TP
大16开
武汉市东湖新技术开发区凤凰产业园藏龙北路1号
1973
chi
出版文献量(篇)
9945
总下载数(次)
28
总被引数(次)
47579
  • 期刊分类
  • 期刊(年)
  • 期刊(期)
  • 期刊推荐
论文1v1指导