基于Hadoop和Spark的可扩展性大数据分析系统设计

• 作者: 刘昕林 刘睿臻 邓巍 黄萍
• 来源期刊: 自动化与仪器仪表
• 学科: 工学
• 关键词: Hodoop Spark 可拓展性 ALS算法 大数据 分析系统
• 年，卷（期）: 2020,（3）
• 所属期刊栏目: 设计与制造
• 页码范围: 132-136
• 页数: 5页
• 分类号: TP311
• 语种: 中文
• DOI: 10.14016/j.cnki.1001-9227.2020.03.132

摘要

随着社会进步和信息化高速发展,网络数据规模大幅度扩大,面对大规模网络数据环境,基于Hadoop和Spark设计可拓展性大数据分析系统.系统Flume模块的Source组件负责采集大数据,Sink组件将大数据传输至Kafka;分析检测模块采用Spark离线训练可扩展性数据,将训练完成的模型传输到Spark streaming中,依据训练模型特征对普通大数据分类,获取可扩展性大数据.系统软件采用ALS算法、PageRank算法得到可扩展性大数据的有效性与价值度排名,据此向用户推荐优质可扩展性大数据.实验结果显示:系统分析可拓展性大数据精准度高于90％,优于对比系统,且具备低能耗、高稳定性的优点,实际应用价值高.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	黄萍		12	5	2.0	2.0
2	刘昕林		16	13	2.0	3.0
3	邓巍		11	3	1.0	1.0
4	刘睿臻		2	0	0.0	0.0