基于CRF模型的蒙古文分词及词性标注的研究

• 作者: 淑琴 那日松 齐力格尔
• 来源期刊: 内蒙古大学学报（哲学社会科学版）
• 学科: 工学
• 关键词: 蒙古文分词 蒙古文词性标注 条件随机场
• 年，卷（期）: 2016,（2）
• 所属期刊栏目: 蒙古学研究
• 页码范围: 23-28
• 页数: 6页
• 分类号: TP391
• 语种: 中文

摘要

为了探讨蒙古文自动词切分及词性标注的问题,可以首先对20万词级蒙古文语料的词切分和词性标注情况进行统计和分析,并对其切分和标注错误进行二次修正,然后再采用条件随机场模型(CRF),进行自动“分词”、“词性标注”、分词及词性标注“统一实现”的研究.开放测试的结果表明,蒙古文自动分词准确率在98％以上,蒙古文分词和词性标注“统一实现”实验结果的准确率比分词和词性标注“两步走”实验结果的准确率高出3.55％,“统一实现”实验在考虑“上下文”和特征“连写的附加成分”后所得准确率可以达到93.38％,这在一定程度上解决了蒙古文分词及词性标注问题.