不同维度下维吾尔语N-gram语言模型性能分析

• 作者: 古丽尼尕尔·买合木提 毛丽旦·尼加提 艾斯卡尔·艾木都拉
• 来源期刊: 现代电子技术
• 关键词: N-gram语言模型 性能分析 SRILM MITLM 困惑度 平滑算法 机器翻译
• 年，卷（期）: 2019,（10）
• 所属期刊栏目: 计算机科学与应用
• 页码范围: 27-30
• 页数: 4页
• 分类号: TN912.34-34|TP391.1
• 语种: 中文
• DOI: 10.16652/j.issn.1004-373x.2019.10.007

摘要

针时当前维吾尔语语言模型存在的语料库数据稀疏问题以及困惑度较高等问题,在SRILM和MITLM两种工具生成的2-gram,3-gram,…,9-gram语言模型做了对比实验,试图找出在一定规模的维吾尔语语料条件下使困惑度最低的N-gram语言模型.通过对比分析最终得出结论,对于基于维吾尔语句子的N-gram模型,维度N取在介于3～5之间较宜,困惑度和计算复杂度等因素考虑N=3为较优.这一结论将有助于维吾尔语自然语言处理的发展.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	艾斯卡尔·艾木都拉	新疆大学信息科学与工程学院	170	561	11.0	15.0
2	毛丽旦·尼加提	新疆大学软件学院	1	1	1.0	1.0
3	古丽尼尕尔·买合木提	新疆大学信息科学与工程学院	5	2	1.0	1.0