基于Hadoop分布式计算架构的海量数据分析

• 作者: 王敬昌
• 来源期刊: 数字技术与应用
• 学科: 工学
• 关键词: Hadoop Map-Reduce Pig 数据分析
• 年，卷（期）: 2010,（7）
• 页码范围: 6-7
• 分类号: TP393
• 字数: 1597字
• 语种: 中文

摘要

随着互联网的发展,分析处理海量数据成为各公司组织急待解决的问题.Hadoop分布式系统依靠廉价的PC集群提供可靠的并行计算服务,其子项目Pig立足Map-Reduce并行计算框架,提供类SQL功能的Pig Latin语自,成为实用、高效的海量数据处理平台.本文对Pig平台系统架构进行说明,介绍Pig平台引擎前端和引擎后端的功能,并结合实例阐述Pig平台处理Pig Latin脚本过程中产生逻辑计划、物理计划及Map-Reduce计划的具体流程.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王敬昌		10	62	5.0	7.0