字符序列标注的维吾尔语词干提取方法

• 作者: 买合木提·买买提 古丽尼格尔·阿不都外力 吐尔根·依布拉音 早克热·卡德尔 王路路 西热艾力·海如拉
• 来源期刊: 现代电子技术
• 关键词: 词干提取 序列标注 条件随机场 特征提取 模型训练 预测结果
• 年，卷（期）: 2020,（12）
• 所属期刊栏目: 前沿交叉科学
• 页码范围: 151-154,160
• 页数: 5页
• 分类号: TN912.34-34|TP391
• 语种: 中文
• DOI: 10.16652/j.issn.1004-373x.2020.12.036

摘要

词干提取是形态丰富语言信息处理中的基础任务,对其他自然语言处理任务有着重要的影响.该文将词干提取任务看作序列标注问题,以字符为切分粒度来表征维吾尔语单词的构成机制,结合条件随机场模型,实现基于字符序列标注的维吾尔语词干提取方法.首先使用词典查询方法进行词干提取,然后结合字符的弱化发音特征、音类特征以及语音特征,针对受限数据和非受限数据采用条件随机场训练模型及预测结果.实验结果表明,该方法在非受限数据集上效果较佳,且能广泛应用到其他语言.