Spark集群实现统计文档单词频次实例

• 作者: 郑海鹏
• 来源期刊: 电脑知识与技术:学术版
• 学科: 工学
• 关键词: 大数据 Spark集群 分布式文件系统 单词次数统计
• 年，卷（期）: 2020,（23）
• 页码范围: 33-34
• 页数: 2页
• 分类号: T311

摘要

随着计算机数据分析、数据处理技术的不断发展和完善,大数据技术在社会中的实际应用场景越来越广泛,我们的生活正处在大数据时代。例如,众多电商平台利用大数据技术实现了电商用户的数据画像。依据客户的需求导向,对客户的商品需求进行精准的定位,进一步地满足客户的实际需求,增加电商平台的产品销售量及销售利润,知名搜索引擎百度依据客户的百度搜索日志,投其所好,推送和用户浏览日志密切相关的新闻,满足用户的网络需求。大数据正在逐步地影响和改变我们的生活,该文力图对大数据技术开发环境的配置做简要的阐述,并利用Spark(一款基于内存的计算框架,运行速度比MapReduce快100倍左右)集群实现对上传至HDSF(分布式文件系统)中文档内的单词次数的统计,以此阐述大数据技术处理数据的运行流程。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	郑海鹏	淮南联合大学信息工程学院	14	9	1.0	3.0