基于规则与统计相结合的藏文文本自动查错方法研究

• 作者: 完么扎西 尼玛扎西
• 来源期刊: 中文信息学报
• 学科: 工学
• 关键词: 藏文文本自动查错 非字错误 真字词错误
• 年，卷（期）: 2022,（2）
• 所属期刊栏目: 民族、跨境及周边语言信息处理|Ethnic Language Processing and Cross Language Processing
• 页码范围: 69-75
• 页数: 7页
• 分类号: TP391
• 语种: 中文
• DOI: 10.3969/j.issn.1003-0077.2022.02.008

摘要

针对目前藏文文本自动查错方法的不足,该文提出了一种基于规则和统计相结合的自动查错方法.首先以藏文拼写文法为基础,结合形式语言与自动机理论,构造37种确定型有限自动机识别现代藏文字;然后利用查找字典的方法识别梵音藏文字;最后利用互信息和t-测试差等统计方法查找藏语词语搭配错误和语法错误等真字词错误,实现藏文文本的自动查错.实验测试集由100篇新闻类语料构成,共包含49处错误.实验表明,该文方法能有效发现非字错误和真字词错误,该方法的查错召回率达到83.7％,查错准确率达到70.7％,F值达到76.7％.