基于分布式集群的网络浏览行为大数据分析平台构建

• 作者: 王强 程实 蔡艳婧
• 来源期刊: 中国电子科学研究院学报
• 学科: 工学
• 关键词: 分布式集群 网络 浏览行为 大数据分析 决策树 数据管理
• 年，卷（期）: 2019,（1）
• 所属期刊栏目: 计算机网络
• 页码范围: 1-7
• 页数: 7页
• 分类号: TP311.13
• 字数: 5591字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-5692.2019.01.001

摘要

传统基于在线学习的网络浏览行为数据分析平台,缺乏大数据分析能力,无法挖掘和管理用户网络浏览行为,分析效率较低,具有一定的局限性.构建基于分布式集群的网络浏览行为大数据分析平台,平台总体结构由视图层、控制层、服务层、数据持久化层和数据层构成,使用分布式存储系统HDFS与分布式计算系统Spark组成的分布式集群存储和管理网络浏览行为产生的数据,通过数据上传流程将海量网络浏览数据源存储到分布式存储系统HDFS中,在Spark分布集群内运算数据挖掘任务,利用决策树ID3算法准确挖掘网络浏览行为.实验结果说明,所设计平台各项功能符合预期结果,平台进行数据源管理、用户行为分析的整体响应时间比基于在线学习的网络浏览行为数据分析平台低508.25ms、836.5ms,说明所设计平台具有较高的网络浏览行为大数据分析效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王强		60	132	6.0	8.0
2	蔡艳婧		23	23	3.0	4.0
4	程实		20	49	4.0	6.0