利用N-gram和语义分析的维吾尔语文本相似性检测方法

• 作者: 亚森·艾则孜 吴顺祥 张莹
• 来源期刊: 计算机应用研究
• 关键词: 维吾尔语 文本相似性检测 N-gram统计模型 潜在语义分析
• 年，卷（期）: 2019,（9）
• 所属期刊栏目: 系统应用开发
• 页码范围: 2722-2725,2729
• 页数: 5页
• 分类号: TP391
• 语种: 中文
• DOI: 10.19734/j.issn.1001-3695.2018.03.0158

摘要

为了实现维吾尔语文本的相似性检测,提出一种基于N-gram和语义分析的相似性检测方法.根据维吾尔语单词特征,采用了N-gram统计模型来获得词语,并根据词语在文本中的出现频率来构建词语—文本关系矩阵,并作为文本模型.采用了潜在语义分析(LSA)来获得词语及其文本之间的隐藏关联,以此解决维吾尔语词义模糊的问题,并获得准确的相似度.在包含重组和同义词替换的剽窃文本集上进行实验,结果表明该方法能够准确有效地检测出相似性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	吴顺祥	厦门大学自动化系	62	615	15.0	21.0
2	亚森·艾则孜	新疆警察学院信息安全工程系	31	45	3.0	5.0
3	张莹	新疆警察学院信息安全工程系	5	3	1.0	1.0