基于Hadoop的多关键字排序方法研究

• 作者: 周国军
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: Hadoop MapReduce模型 多排序 基数排序
• 年，卷（期）: 2016,（17）
• 所属期刊栏目: 大数据与云计算
• 页码范围: 79-83,159
• 页数: 6页
• 分类号: TP311.1
• 字数: 5854字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1601-0234

摘要

在单机环境下按多关键字对大数据排序需要较长的执行时间，为了提高按多关键字对大数据排序的效率，根据Hadoop的MapReduce模型，给出了两种基于Hadoop的多关键字排序方法。方法一在Reduce函数中使用链式基数排序算法按多关键字对大数据并行排序，利用多个节点的计算能力提高排序的效率。方法二通过定义组合键和比较器实现了对记录的多个关键字按字节比较，节省了将字节流反序列化为对象的时间。通过实验测试了两种方法的性能，实验结果表明，两种方法均能取得较高的排序效率和较好的可扩展性。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	周国军	玉林师范学院数学与信息科学学院	24	76	4.0	7.0