基于Hadoop的大数据运营系统

• 作者: 高海超 常祎雯 杨文峰 冯学伟 邓哲 白涛
• 来源期刊: 科学技术创新
• 学科: 工学
• 关键词: 大数据 Hadoop ALS
• 年，卷（期）: 2021,（19）
• 所属期刊栏目: 信息技术
• 页码范围: 93-94
• 页数: 2页
• 分类号: TP311
• 语种: 中文
• DOI: 10.3969/j.issn.1673-1328.2021.19.041

摘要

大数据时代的电商行业对数据的需求日益剧增,数据可对电商企业的发展和规划起到极大的指导作用,采用Hadoop分布式大数据处理框架,实现了对商品的个性化推荐提升商业效益.提出以Hadoop HDFS作为存储系统,对用户历史数据进行存储.对原数据进行去重和补偿后使用Spark提供的MLlib中的协同过滤来计算推荐结果,并基于用户的协同过滤和交替最小二乘法两种算法来实现部分推荐结果.能够达到直观展示大数据处理、亚秒级实时推荐的良好效果.