基于Spark的用户行为分析系统框架研究

• 作者: 刘辰 姚远 殷乐
• 来源期刊: 网络安全技术与应用
• 关键词: Spark MLlib 数据挖掘 用户行为分析
• 年，卷（期）: 2018,（2）
• 所属期刊栏目: 安全模型、算法与编程
• 页码范围: 56-57
• 页数: 2页
• 字数: 3198字
• 语种: 中文
• DOI: 10.3969/j.issn.1009-6833.2018.02.034

摘要

网络日志包含了大量有价值的信息,对分析用户上网行为模式提供有力数据保障.而随着互联网及应用程序规模的不断扩大,各种日志信息同时也呈数量级的增长,一般使用单台机器处理的用户行为分析系统早已无法满足当前需求.Spark作为一个专为大规模数据处理而设计的快速通用的分布式计算引擎,具有易用性、通用性和更快的速度等优势.本文介绍了现有常用的数据挖掘技术及Spark机器学习库MLlib中的相关算法,设计了一个基于Spark平台并使用多种MLlib挖掘算法的用户行为分析系统融合框架,包括日志采集、日志预处理、用户聚类、关联规则、序列模式、可视化、任务管理等模块.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	姚远		16	78	5.0	8.0
2	刘辰		2	4	1.0	2.0
3	殷乐		2	4	1.0	2.0