浅谈基于Hadoop平台的大规模数据排序

• 作者: 吕书林 门威
• 来源期刊: 智能计算机与应用
• 学科: 工学
• 关键词: Hadoop平台 海量数据排序 基准排序 云计算
• 年，卷（期）: 2016,（3）
• 页码范围: 130-131,134
• 页数: 3页
• 分类号: TP391
• 字数: 1971字
• 语种: 中文

摘要

据IDC统计,2011年全球处理的数据量达到1.8 ZB,预计到2020年达到40 ZB.如何对海量数据进行高效分析和有效管理已成为大数据时代亟需解决的问题之一.商业数据、科学数据和网页数据这3类海量数据的异构性(充满着非结构化、半结构化和结构化数据)进一步增加了海量数据的处理难度.海量数据排序是海量数据处理的基本内容之一.Hadoop曾利用3 658个节点的集群在16.25小时内完成1PB数据的排序,获得Daytona类GraySort和MinuteSort级别的冠军.本文在设计层面上对Hadoop平台上海量数据排序策略进行分析.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	吕书林	河南广播电视大学信息技术中心	11	10	2.0	2.0
2	门威	河南广播电视大学信息技术中心	16	16	2.0	3.0