基于MapReduce框架的海量数据相似性连接研究进展

• 作者: 于戈 庞俊 许嘉 谷峪
• 来源期刊: 计算机科学
• 学科: 工学
• 关键词: 海量数据 相似性连接 MapReduce Top-k
• 年，卷（期）: 2015,（1）
• 页码范围: 1-5,27
• 页数: 6页
• 分类号: TP391
• 字数: 7901字
• 语种: 中文
• DOI: 10.11896/j.issn.1002-137X.2015.1.001

摘要

海量数据相似性连接作为海量数据处理的基本操作,在文本聚类、剽窃检测、实体解析等研究领域具有重要作用.另一方面,MapReduce编程模型因为具有良好的可扩放性、容错性和易用性,被广泛地应用于海量数据处理.因此,基于MapReduce框架的海量数据相似性连接查询技术成为海量数据处理领域的热点问题之一.首先,概括了海量数据固有特点和MapReduce编程框架的缺陷给现有相似性连接查询技术带来的巨大挑战;其次,提出了海量数据相似性连接的定义,按3种不同的分类标准对其进行了分类;接着,重点分析了集合、字符串和向量数据类型的海量相似性连接查询最新技术,并从效率和适用范围等方面分别对这些技术进行了比较;最后,讨论了海量数据相似性连接查询技术亟待解决的关键问题,并提出了一些有前景的解决方案.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	于戈	东北大学信息科学与工程学院	426	6587	38.0	64.0
2	谷峪	东北大学信息科学与工程学院	43	456	10.0	20.0
3	庞俊	东北大学信息科学与工程学院	3	42	3.0	3.0
4	许嘉	国防科学技术大学信息系统与管理学院	1	17	1.0	1.0