基于相似连接的多源数据并行预处理方法

• 作者: 朱建文 潮洛蒙 郭方方
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: 网络安全 多源数据 数据预处理 相似连接 MapReduce
• 年，卷（期）: 2019,（1）
• 所属期刊栏目: 2018年全国开放式分布与并行计算学术年会(DPCS 2018)论文
• 页码范围: 57-60
• 页数: 4页
• 分类号: TP274
• 字数: 4068字
• 语种: 中文
• DOI: 10.11772/j.issn.1001-9081.2018071869

摘要

大规模网络环境和大数据相关技术的发展对传统数据融合分析技术提出了新的挑战.针对目前多源数据融合分析过程灵活性差、处理效率低的问题,提出了一种基于相似连接的多源数据并行预处理方法,该方法采用了分治和并行的思想.首先,通过对多源数据中的相似语义进行统一、对个性语义进行保留的预处理方法提高了灵活性;其次,提出了一种改进的并行MapReduce框架,提高了相似连接的效率.实验结果表明,所提方法在保证数据完整性的基础上,使总的数据量减小了32％.与传统的MapReduce框架相比,改进后的框架在耗费时间方面减小了43.91％,因此该方法可以有效提高多源数据融合分析的效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	郭方方	哈尔滨工程大学计算机科学与技术学院	23	129	7.0	10.0
2	潮洛蒙	哈尔滨工程大学计算机科学与技术学院	1	6	1.0	1.0
3	朱建文	哈尔滨工程大学计算机科学与技术学院	1	6	1.0	1.0