基于2-gram语言模型的哈萨克文语料库校对研究

• 作者: 伊力亚尔
• 来源期刊: 伊犁师范学院学报（自然科学版）
• 学科: 工学
• 关键词: 语料库 2-gram模型 音节切分 viterbi算法
• 年，卷（期）: 2010,（3）
• 页码范围: 50-53
• 分类号: TP391
• 字数: 2963字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-999X.2010.03.013

摘要

研究了带有位置信息的2-garm音节模型,根据音节切分后前后音节的位置信息和同现概率来判断非词错误,再根据最短编辑距离和、viterbi算法来提供候选词.根据2元单词模型,对输入文本以句子为单位,从判断前后2元单词的同现概率来判断真词错误,并提供候选词.