消除规范关系连接冗余的二次排序算法研究

• 作者: 刘黎志 张威
• 来源期刊: 武汉工程大学学报
• 学科: 工学
• 关键词: MapReduce 连接冗余 二次排序 HBase
• 年，卷（期）: 2017,（5）
• 所属期刊栏目: 机电与信息工程
• 页码范围: 508-513
• 页数: 6页
• 分类号: TP311
• 字数: 3137字
• 语种: 中文
• DOI: 10.3969/j.issn.1674-2869.2017.05.018

摘要

使用MapReduce框架对规范的一对多关系实体进行连接操作时,一方实体的各个属性会在连接的结果中产生大量冗余.通过对二次排序算法进行优化,重新定义Map阶段的分区过程、Shuffle阶段的排序及分组过程,使得Map阶段的输出为包含一方实体属性值和多方实体排序值的组合键及包含多方实体属性值的集合.Reduce阶段将组合键进行分解,提取一方实体的主码作为HBase表的行健,并将组合键中一方实体的各个属性值及多方实体属性值集合分别写入HBase表中对应的列,从而既实现了连接的语义,又消除了冗余.实验证明,优化后的算法可以消除一方实体属性值在连接结果中的冗余,提高了对连接结果的查询效率.