基于HBase和SimHash的大数据K-近邻算法

• 作者: 张明阳 王婷婷 翟俊海 郝璞
• 来源期刊: 山东大学学报（工学版）
• 学科: 工学
• 关键词: 大数据 K-近邻 分类算法 HBase SimHash
• 年，卷（期）: 2018,（3）
• 所属期刊栏目: 机器学习与数据挖掘
• 页码范围: 54-59
• 页数: 6页
• 分类号: TP181
• 语种: 中文
• DOI: 10.6040/j.issn.1672-3961.0.2017.414

摘要

针对大数据K-近邻(K-nearest neighbors,K-NN)计算复杂度高的问题,提出一种基于HBase和SimHash的大数据K-近邻分类算法.利用SimHash算法将大数据集从原空间映射到Hamming空间,得到哈希签名值集合;将样例的行键与值的二元对存储到HBase数据库中,行健(rowkey)为样例的哈希签名值,值(value)为样例的类别;对于测试样例,以其哈希签名值作为健rowkey,从HBase数据库中获取所有样例的value,通过对这些values进行多数投票,即可以得到测试样例的类别.与基于MapReduce的K-NN和基于Spark的K-NN在运行时间和测试精度两方面进行试验比较.试验结果显示,在保持分类能力的前提下,提出的算法的运行时间远远低于其他两种方法.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	翟俊海	河北大学河北省机器学习与计算智能重点实验室	45	256	9.0	12.0
5	王婷婷	河北大学河北省机器学习与计算智能重点实验室	19	31	4.0	4.0
9	郝璞	河北大学河北省机器学习与计算智能重点实验室	5	33	2.0	5.0
13	张明阳	河北大学河北省机器学习与计算智能重点实验室	6	19	3.0	4.0