基于Mahout的相似重复数据清洗策略研究

• 作者: 李碧秋 王佳斌
• 来源期刊: 科技与创新
• 关键词: 数据清洗 k-means 相似重复记录 文本聚类
• 年，卷（期）: 2020,（20）
• 所属期刊栏目: 理论探索
• 页码范围: 15-18
• 页数: 4页
• 分类号: TP311.13
• 语种: 中文
• DOI: 10.15913/j.cnki.kjycx.2020.20.005

摘要

针对在海量日志记录中无法有效抽取高价值的数据问题,提出一种基于Mahout的k-means短文本聚类清洗算法,利用开源机器学习算法库Mahout,将文本聚类与数据清洗相结合,通过聚类检测相似重复记录,有效提升重复数据清洗速率.实验结果表明,该方法在保证较高查全率与查准率的同时,比传统相似重复数据清洗算法更具有扩展性,这对大数据的处理有较强的实用意义.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王佳斌		33	132	5.0	10.0
2	李碧秋		1	0	0.0	0.0