基于MapRed uce的增量式数据集的相似性连接

• 作者: 徐媛媛 陈华辉
• 来源期刊: 计算机应用研究
• 关键词: 海量增量式数据集 划分 相似性连接 MapReduce
• 年，卷（期）: 2014,（11）
• 页码范围: 3369-3374,3384
• 页数: 7页
• 分类号: TP311.1
• 语种: 中文
• DOI: 10.3969/j.issn.1001-3695.2014.11.039

摘要

相似性连接，即利用相似函数度量数据之间的相似程度，满足条件后进行连接操作。MapReduce框架下已存在很多相似性连接算法，但仍然存在一些不足，如大量的索引加大时间、空间的开销；现有算法不能有效地完成增量式数据集的相似性连接等。针对海量增量式数据集进行了研究，采用抽样技术得到有效中枢，形成更为合理的分区，建立分区索引和分配原则，完成新增数据的相似性连接操作。实验证明，该算法能够有效地解决海量增量式数据集的相似性连接问题，验证了分区索引的建立，可以提高新增数据的相似性连接操作的效率。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈华辉	宁波大学信息科学与工程学院	63	319	9.0	15.0
2	徐媛媛	宁波大学信息科学与工程学院	1	7	1.0	1.0