基于Hadoop云计算平台的海量文本处理研究

• 作者: 张学亮 陈勇 陈金勇
• 来源期刊: 无线电通信技术
• 学科: 工学
• 关键词: 海量文本处理 Hadoop HDFS HBase MapReduce 分布式并行处理
• 年，卷（期）: 2014,（1）
• 所属期刊栏目: 综合电子信息技术
• 页码范围: 54-57
• 页数: 4页
• 分类号: TP319
• 字数: 3196字
• 语种: 中文

摘要

针对海量文本数据处理,为实现快速文本处理响应,缩短海量数据为辅助决策提供服务的时间,基于Hadoop云计算平台,建立HDFS分布式文件系统存储海量文本数据集,通过文本词频利用MapReduce原理建立分布式索引,以分布式数据库HBase存储关键词索引,并提供实时检索,实现对海量文本数据的分布式并行处理.实验结果表明,Hadoop框架为大规模数据的分布式并行处理提供了很好的解决方案.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈勇	中国电子科技集团公司第五十四研究所	35	123	8.0	9.0
2	陈金勇	中国电子科技集团公司第五十四研究所	41	136	6.0	9.0
3	张学亮	中国电子科技集团公司第五十四研究所	3	16	2.0	3.0