基于最大熵的哈萨克语词性标注模型

• 作者: 古丽拉·阿东别克 桑海岩 牛宁宁
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 自然语言处理 词性标注 最大熵模型 哈萨克语
• 年，卷（期）: 2013,（11）
• 所属期刊栏目: 数据库、数据挖掘、机器学习
• 页码范围: 126-129,165
• 页数: 5页
• 分类号: TP391
• 字数: 5158字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1212-0193

摘要

最大熵模型能够充分利用上下文,灵活取用多个特征.使用最大熵模型进行哈萨克语的词性标注,根据哈语的粘着性、形态丰富等特点设计特征模板,并加入了向后依赖词性的特征模板.对模型进行了改进,在解码中取概率最大的前n个词性分别加入下一个词的特征向量中,以此类推直至句子结束,最终选出一条概率最优的词性标注序列.实验结果表明,特征模板的选择是正确的,改进模型的准确率达到了96.8％.