基于LSH技术的试题相似度检测方法

• 作者: 杨云源 梅莹 王松 陈瑞
• 来源期刊: 计算机科学与应用
• 学科: 教育
• 关键词: 试题查重 LSH算法 Jaccard相似度 K-shingle
• 年，卷（期）: jsjkxyyy_2020,（4）
• 页码范围: 741-748
• 页数: 8页
• 分类号: G63

摘要

试题内容重复率是评价试题库及试卷质量的重要指标之一,为了快速找出题库中的相似试题,本文主要研究了基于K-shingles的Jaccard相似度、MinHash和LSH技术应用于相似试题的检测方法。此方法首先将题干内容进行中文分词,进行适当处理后转换成K-shingle集,通过MinHash计算出签名,最后使用LSH技术快速地找出候选相似试题对并计算出相应的Jaccard相似度,若该相似度大于给定的阈值,则发现相似试题。该方法通过在题库系统中的使用,充分验证了该方法的可行性,达到了很好的效果。