维吾尔语词法分析的有向图模型

• 作者: 刘群 吐尔根·依布拉音 姜文斌 王志洋 麦热哈巴·艾力
• 来源期刊: 软件学报
• 学科: 工学
• 关键词: 维吾尔语 词法分析 词语切分 词性标注 有向图
• 年，卷（期）: 2012,（12）
• 所属期刊栏目: 模式识别与人工智能
• 页码范围: 3115-3129
• 页数: 15页
• 分类号: TP391
• 字数: 10406字
• 语种: 中文
• DOI: 10.3724/SP.J.1001.2012.04205

摘要

维吾尔语是典型的黏着性语言,其派生能力很强,具有丰富的形态变化,同时遵循语音和谐规律,生成过程中会出现弱化、增音、脱落等音变现象.这些特性决定了维吾尔语词法分析的难点,包括词干提取、发生音变字母的还原以及标注.将维吾尔语词的层次结构引入到词法分析研究中,提出了维吾尔语词法分析的有向图模型,该模型将维吾尔语词法分析描述为有向图结构,图中节点表示词干、词缀及其相应标注,其边表示节点之间的转移或生成概率并将此概率作为候选择优的依据.针对维吾尔语在形态变化过程中发生的音变现象,又提出基于词内字母对齐算法的自动还原模型,该模型将音变现象泛化到每个字母上的假设之下,将还原问题转变成类似于词性标注问题,再利用统计方法进行还原在对新疆多语种信息技术重点实验室手工标注的《维吾尔语百万词词法分析语料库》上进行的实验中,取得了词干提取正确率为94.7％,词干与各词缀切分并标注的F值达到92.6％的好成绩.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	姜文斌	中国科学院计算技术研究所	17	153	8.0	12.0
5	刘群	中国科学院计算技术研究所	85	2516	22.0	49.0
6	吐尔根·依布拉音	新疆大学信息科学与工程学院	116	771	14.0	22.0
7	麦热哈巴·艾力	新疆大学信息科学与工程学院	14	87	6.0	9.0
11	王志洋	中国科学院计算技术研究所	3	54	3.0	3.0