基于Hadoop MapReduce的大规模数据索引构建与集群性能分析

• 作者: 强保华 石龙 谌超
• 来源期刊: 桂林电子科技大学学报
• 学科: 工学
• 关键词: MapReduce 倒排索引 Hadoop集群
• 年，卷（期）: 2012,（4）
• 页码范围: 307-312
• 分类号: TP311
• 字数: 4625字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-808X.2012.04.012

摘要

为了满足搜索引擎构建索引的时空开销需求,构建高效的分布式索引,利用Hadoop搭建分布式集群环境,基于MapReduce编程实现大数据倒排索引.采用不同的网络带宽、数据量和集群节点数来评估Hadoop集群的性能.实验结果表明:网络带宽越大,集群处理效率越高;集群节点数越多,处理大数据的能力越强.可见,网络通信带宽对Hadoop集群性能有一定影响,高速集群链路有利于发挥集群的性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	谌超	桂林电子科技大学计算机科学与工程学院	4	45	3.0	4.0
2	强保华	桂林电子科技大学计算机科学与工程学院	25	181	7.0	12.0
3	石龙	桂林电子科技大学计算机科学与工程学院	3	37	2.0	3.0