Spark on Yarn模式的电信大数据处理平台

• 作者: 张远夏 杨玉
• 来源期刊: 福建电脑
• 学科: 工学
• 关键词: 云计算 电信大数据 映射-规约 Yarn规范 Spark内存计算
• 年，卷（期）: 2019,（3）
• 所属期刊栏目: 论著
• 页码范围: 34-38
• 页数: 5页
• 分类号: TP393.03
• 字数: 3259字
• 语种: 中文
• DOI: 10.16707/j.cnki.fjpc.2019.03.008

摘要

为了提高电信大数据处理的性能,提出了一种Spark on Yarn模式的电信大数据处理平台SY-TPP(Spark on Yarn Telecommunication Big Data Processing Platform).SY-TPP平台的实现采用Hadoop2.0的Yarn规范,运用了Spark分布式内存计算框架,使SY-TPP平台数据集的处理尽量在内存中进行.以分级聚类算法为案例分析了SY-TPP平台的编程步骤;测试结果表明:电信运营商的上GB级的用户数据能够半个工作日内完成,32物理节点的SY-TPP平台比同等配置的MapReduce平台的加速比从9.5提升10.25.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张远夏	玉林师范学院计算机科学与工程学院	11	37	4.0	5.0
2	杨玉	玉林师范学院体育健康学院	3	6	2.0	2.0