基于可信度模型的重复主数据检测算法

• 作者: 李少波 王继奎
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 多数据源 重复主数据 可信度模型 检测算法 数据可信度
• 年，卷（期）: 2014,（5）
• 所属期刊栏目: 先进计算与数据处理
• 页码范围: 31-35,40
• 页数: 6页
• 分类号: TP311
• 字数: 4708字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2014.05.007

摘要

针对来源于多个业务系统的重复主数据影响主数据质量、主数据同步及主数据挖掘等问题，提出重复主数据检测算法fastCdrDetection。从数据可信度的角度出发，在考虑数据源可信度、数据最后更新时间及数据长度的基础上，建立主数据可信度模型，并实现可信记录生成算法。设计非递归的字符串相似度计算算法 FiledMatch，解决了由中文简写、缩写、错误拼写造成的主数据重复问题，采用 sourceKeys 算法对来源于同一业务系统、具有同样业务主键的重复记录进行预处理，从而提高重复主数据检测效率。通过对某电网基建物资63万余条供应商存量数据及23万余条模拟数据进行实验，结果表明，与 PQS 算法相比， fastCdrDetection算法的召回率由74%提高到88%，准确率由61%提高到95%，证明了算法的有效性。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王继奎	中国科学院成都计算机应用研究所	13	35	4.0	5.0
4	李少波	中国科学院成都计算机应用研究所	163	758	13.0	21.0