Map-Reduce在媒资系统数据收集中的应用

• 作者: 彭四伟 许伟静
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 媒资管理系统 Map-Reduce 数据收集 hadoop单线程模式 hadoop伪分布模式 hadoop全分布模式
• 年，卷（期）: 2014,（20）
• 所属期刊栏目: 数据库、数据挖掘、机器学习
• 页码范围: 119-123
• 页数: 5页
• 分类号: TP319
• 字数: 5081字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1211-0005

摘要

在传统媒体资源管理系统中，数据收集工作通常是基于C/S或B/S架构设计的，这对服务器的要求比较高。为了提高服务器的性能，传统的模式就是购买更高性能的服务器，然而，近几年出现的云计算也是一个很好解决办法。采用Apache公司的Hadoop Map-Reduce框架来实现数据收集功能，并通过实验，将数据收集工作在传统的单线程模式（传统实现模式）、Hadoop伪分布模式和全分布模式下所需时间进行比较，并对执行结果进行了分析。研究表明：使用Map-Reduce的这种云模式，确实可以缩短执行时间，以达到提高服务器端性能的目的。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	彭四伟	北京化工大学信息科学与技术学院	30	227	9.0	13.0
2	许伟静	北京化工大学信息科学与技术学院	1	4	1.0	1.0