一种高效的大数据增量真值发现算法

• 作者: 张晓琪 李建中 王宏志 谭龙 贾立
• 来源期刊: 哈尔滨工程大学学报
• 学科: 工学
• 关键词: Map-Reduce 贝叶斯 真值发现 增量 投票机制 大数据 数据质量
• 年，卷（期）: 2019,（4）
• 页码范围: 805-812
• 页数: 8页
• 分类号: TP311.1
• 字数: 6660字
• 语种: 中文
• DOI: 10.11990/jheu.201808060

摘要

针对多源异构大数据中传统真值发现算法可扩展性不足、增量真值发现效果差等问题,本文将Map-Reduce框架和贝叶斯真值发现模型相结合,提出了基于Map-Reduce的并行真值发现算法;在MPTF算法基础上,引入In-coop增量框架和基于投票机制的分类器集成策略,并优化了Map过程和Reduce过程,提出了一种高效的大数据增量真值发现算法;实验表明:该算法不仅提高了分类器的准确性,而且实现了新增数据源的真值发现.通过理论分析和实验对比证明,该算法具有高效性和广泛适用性,同时可以兼顾多种现实中的复杂情形.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王宏志	哈尔滨工业大学计算机科学与技术系	69	557	12.0	21.0
2	李建中	黑龙江大学计算机科学与技术学院	61	2487	17.0	49.0
3	谭龙	黑龙江大学计算机科学与技术学院	22	56	2.0	7.0
4	张晓琪	黑龙江大学计算机科学与技术学院	3	1	1.0	1.0
5	贾立	哈尔滨工业大学计算机科学与技术系	2	5	1.0	2.0