基于无监督学习的数据清洗算法

• 作者: 于杰 孙铁民 尚程 张丽华 田大新
• 来源期刊: 吉林大学学报（信息科学版）
• 学科: 工学
• 关键词: 数据仓库 数据抽取 数据转换 数据清洗 数据装载
• 年，卷（期）: 2008,（6）
• 所属期刊栏目: 计算机科学与技术
• 页码范围: 599-604
• 页数: 6页
• 分类号: TP311
• 字数: 4383字
• 语种: 中文
• DOI: 10.3969/j.issn.1671-5896.2008.06.009

摘要

为了解决数据仓库中相似重复记录的数据问题,提出了基于无监督学习的数据清洗算法.该算法采用基于Hebbian假设的自适应学习方法,并通过相似度确定奖励和惩罚等级.在学习过程中根据需要增加新的聚类,在学习结束后,通过分析聚类情况删除错误的聚类,从而避免了死神经元问题并使聚类更加准确.实验表明,该算法能准确地完成实体识别.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张丽华	吉林大学科技处	106	382	10.0	16.0
2	田大新	吉林大学计算机科学与技术学院	15	284	8.0	15.0
3	于杰	吉林大学通信工程学院	44	153	7.0	10.0
4	尚程	吉林大学计算机科学与技术学院	3	9	2.0	3.0
5	孙铁民	吉林大学科技处	8	12	2.0	3.0