一种高效的分布式相似短文本聚类算法

• 作者: 原默晗 唐晋韬 王挺
• 来源期刊: 计算机与数字工程
• 学科: 工学
• 关键词: 文本聚类 最小哈希 局部敏感哈希 shingling Spark
• 年，卷（期）: 2016,（5）
• 所属期刊栏目: 信息处理与网络安全
• 页码范围: 895-900,943
• 页数: 7页
• 分类号: TP391.1
• 字数: 5677字
• 语种: 中文
• DOI: 10.3969/j.issn.1672-9722.2016.05.026

摘要

近似重复在微博等网络短文本中十分常见,查找和消除近似重复对于网络信息的有效处理具有非常重要的意义.论文针对相似短文本聚类的特点,在改进shingling、最小哈希和局部敏感哈希算法相结合的文件相似检测方法的基础上,设计了一个高效的短文本聚类方法.该方法通过将文本表示成连续短字符串集合,并应用最小哈希将集合简化成一组由数字组成的文本签名,通过局部敏感哈希算法得到符合相似度条件的文本聚类.为了适应网络信息规模大的特点,论文进一步利用Apache Spark集群计算框架对聚类算法进行了并行化,提高了数据处理的效率,并分析了影响算法性能的因素.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王挺	国防科学技术大学计算机学院	34	445	12.0	20.0
2	唐晋韬	国防科学技术大学计算机学院	10	134	6.0	10.0
3	原默晗	国防科学技术大学计算机学院	1	7	1.0	1.0