MapReduce框架下的优化高维索引与KNN查询

• 作者: 刘琼妮 尹利 李凤华 梁俊杰
• 来源期刊: 电子学报
• 学科: 工学
• 关键词: 云计算 MapReduce KNN查询 高维索引
• 年，卷（期）: 2016,（8）
• 所属期刊栏目: 学术论文
• 页码范围: 1873-1880
• 页数: 8页
• 分类号: TP301
• 字数: 7410字
• 语种: 中文
• DOI: 10.3969/j.issn.0372-2112.2016.08.015

摘要

针对大规模高维数据近似查询效率低下的问题，利用MapReduce编程模型在大规模集群上的数据与任务的并行计算与处理优势，提出MapReduce 框架下大规模高维数据索引及KNN 查询方法（iPBM），重点突破Ma-pReduce数据块（block）的优化划分与各数据块对计算的共同贡献两大难题，利用两阶段数据划分策略并依据相关性与并行性原则将数据均匀分配到各数据块中，设计分布式的双层空间索引结构与并行KN N查询算法，检索时利用全局索引、局部索引与二维位码索引实现三层数据过滤，大幅缩小搜索范围并降低高维向量计算代价，实验表明iPBM对大规模高维数据的近似查询具有准确性、高效性和扩展性。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	梁俊杰	湖北大学计算机与信息工程学院	25	129	7.0	9.0
2	李凤华	中国科学院信息工程研究所信息安全国家重点实验室	36	397	10.0	19.0
6	刘琼妮	湖北大学计算机与信息工程学院	2	13	2.0	2.0
7	尹利	湖北大学计算机与信息工程学院	1	6	1.0	1.0