一种基于Hadoop的多表链接策略

• 作者: 徐剑 李战怀 王卓 陈群
• 来源期刊: 现代电子技术
• 关键词: 多表链接 替换-查询 索引 缓冲池 二次排序
• 年，卷（期）: 2014,（6）
• 所属期刊栏目: 计算机应用技术 -- 计算机软/硬件与数据总线
• 页码范围: 90-94
• 页数: 5页
• 分类号: TN911-34|TP311
• 语种: 中文

摘要

Hadoop系统在处理多表链接问题时，每轮都会将大量的中间结果写入本地磁盘，从而严重降低了系统的处理效率。为解决该问题，提出一种“替换-查询”方法，该方法通过对链接表建立索引，将预输出的元组集替换为索引信息输出到中间结果，以索引的形式参与多表链接，以此减少中间结果的I/O代价。运用缓冲池、二次排序和多线程技术对索引信息进行优化管理，加快索引查询速度。最后在TPC-H数据集上，设计了与原Hadoop的对比实验，结果表明该方法可减少35.5%的存储空间，提高12.9%的运行效率。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李战怀	西北工业大学计算机学院	254	2139	21.0	35.0
2	陈群	西北工业大学计算机学院	54	495	11.0	20.0
3	徐剑	西北工业大学计算机学院	7	93	6.0	7.0
4	王卓	西北工业大学计算机学院	4	44	2.0	4.0