MapReduce环境下支持大规模文本检索的概念索引

• 作者: 张生 胡加靖
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 大数据 MapReduce框架 数据检索 形式概念分析 概念格 概念索引
• 年，卷（期）: 2015,（7）
• 所属期刊栏目: 先进计算与数据处理
• 页码范围: 48-54
• 页数: 7页
• 分类号: TP18
• 字数: 6985字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2015.07.009

摘要

随着信息化技术飞速发展,爆炸性数据的增长以及数据的多样化给大数据检索带来了挑战.MapReduce作为一种并行处理框架,在大数据处理上具有明显优势.为此,结合概念格的相关知识,采用形式概念分析发现文档之间的关系并用格进行表示,提出一种新型的支持大规模文本检索的形式概念索引结构,给出基于MapReduce框架建立概念索引的相关算法.通过与Lucene索引进行比较,验证了所提索引的有效性.实验结果表明,将文档之间关系采用概念格表示并建立概念索引,能够提高大规模文本检索的性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张生	上海理工大学光电信息与计算机工程学院	31	114	6.0	9.0
2	胡加靖	上海理工大学光电信息与计算机工程学院	1	2	1.0	1.0