面向海量文档集的分布式索引构建方法

• 作者: 王万乐 石冰 陈驰
• 来源期刊: 网络新媒体技术
• 关键词: 聚类 Kmeans算法 MapReduce计算模型 分布式索引
• 年，卷（期）: 2016,（5）
• 所属期刊栏目: 网络通讯与计算技术
• 页码范围: 22-27,39
• 页数: 7页
• 字数: 4985字
• 语种: 中文

摘要

Kmeans聚类算法是分布式索引构建中比较有效的文档分割方法.然而,基于单节点Kmeans算法的索引构建方法在应用于海量数据时存在两个问题:初始中心点的选取对于聚类结果的影响较大,聚类结果不稳定;聚类节点容易成为系统运行的瓶颈、文档集合的可扩展性差.针对上述问题,提出一种基于可并行的优化Kmeans算法的索引构建方法,基于样本聚类优化算法初始点的选择,保证聚类结果的稳定性,优化索引分布;同时将聚类的过程并行化,消除系统瓶颈,提升系统效率.实验表明,该方法在索引构建效率和查询结果的准确性方面均较传统方法有显著提升.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈驰	中国科学院信息工程研究所信息安全国家重点实验室	25	146	8.0	12.0
2	石冰	山东大学计算机科学与技术学院	46	346	11.0	17.0
3	王万乐	山东大学计算机科学与技术学院	1	0	0.0	0.0