SDD-1改进算法在Hive中应用

• 作者: 吴淑跃 王宝进 薛娟
• 来源期刊: 湘潭大学自然科学学报
• 学科: 工学
• 关键词: 数据预处理 双半连接 SDD-1改进算法
• 年，卷（期）: 2014,（4）
• 所属期刊栏目: 机械工程与电子工程
• 页码范围: 77-82
• 页数: 6页
• 分类号: TP323
• 字数: 3970字
• 语种: 中文

摘要

针对 Hive在处理连接查询时所存在的执行时间长和带宽资源消耗大等问题，提出了一种基于数据预处理和双半连接的SDD-1改进算法。首先，引入预处理技术，在各分布节点对原始数据进行归并排序，以减少汇聚节点的数据映射次数，加快数据处理执行速度；其次，采用基于行和列的双半连接技术，进一步缩减在不同节点间的数据传输量，减少带宽资源消耗。仿真实验表明，相比原始的 Hive 连接算法，改进算法在元组数达到5000和8000时，可使查询速度提升10%，有效缩短查询的处理和响应时间，该改进算法可方便地应用到其他云计算平台上。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王宝进	江苏大学计算机科学与通讯工程学院	10	59	3.0	7.0
3	吴淑跃	江苏大学计算机科学与通讯工程学院	2	7	1.0	2.0
4	薛娟	江苏省交通技师学院电气与信息工程系	6	55	2.0	6.0