基于Hadoop集群的词频统计应用

• 作者: 刘顺
• 来源期刊: 科学技术创新
• 学科: 工学
• 关键词: HDFS MapReduce Hadoop
• 年，卷（期）: 2020,（30）
• 所属期刊栏目: 信息技术
• 页码范围: 97-98
• 页数: 2页
• 分类号: TP311.13
• 语种: 中文

摘要

Hadoop是最近几年比较火的名词,也是大数据爱好者比较推崇的一种技术,是分布式系统基础架构,主要是实现了一个分布式文件系统,简称为HDFS,用户不需要深入的了解分布式底层技术就能很好的使用或者开发分布式程序.Hadoop还有一个优点就是存储大量的半结构化数据集,利用计算机集群通过Hadoop实现高并发高速率的运算和存储,也非常擅长数据分布式的计算,可以快速跨多台计算机处理大型的数据集,而且可以保障数据的安全实现数据冗余,不会因为一个磁盘的损坏造成数据的丢失,Hadoop的框架中最核心的设计就是:HDFS和MapReduce.HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘顺		8	12	2.0	3.0