基于Hadoop的竞品分析系统的实现与优化

• 作者: 王同喜 陈城
• 来源期刊: 电脑知识与技术:学术版
• 学科: 工学
• 关键词: 竞品分析 大数据 分布式 MAPREDUCE 粒子群
• 年，卷（期）: dnzsyjsxsb_2019,（4）
• 页码范围: 215-217
• 页数: 3页
• 分类号: TP311

摘要

在现如今互联网兴盛的时代,大数据能通过对数据的计算和分析体现出其数据的价值性,从而高效而准确地契合用户的需求。在其背景下,竞品分析行业模式也正由传统的P2P模式向多元化模式发展,其搜索引擎具有提供帮助广告商投放广告的支援系统。在Hadoop环境下,使用MapReduce框架进行计算,实现对离线数据的计算和分析,采用面向对象的方法编程,结合SSM的web开发来进行需求的分析与功能的设计与实现。其主要功能包括有关键词搜索、域名搜索、域名竞争对手、关键词优化等功能。在系统需求分析的基础上,整个系统包括数据采集、清洗、过滤以及可视化,系统测试后,对集群进行优化,其中还通过研究粒子群算法实现对MapReduce的优化,最终实现全部功能。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王同喜		26	42	4.0	5.0
2	陈城		2	0	0.0	0.0