基于子词信息的维吾尔语词项规范化

• 作者: 张新路 杨雅婷 王磊 米成刚
• 来源期刊: 厦门大学学报（自然科学版）
• 学科: 工学
• 关键词: 维吾尔语 自然语言处理 文本规范化 词嵌入
• 年，卷（期）: 2019,（2）
• 所属期刊栏目: 民族语言处理
• 页码范围: 217-224
• 页数: 8页
• 分类号: TP391
• 字数: 6159字
• 语种: 中文
• DOI: 10.6043/j.issn.0438-0479.201811022

摘要

拉丁化的维吾尔语在使用过程中具有文本不规范的特点,这种不规范是造成歧义等现象的最主要原因,严重制约着与维吾尔语相关的自然语言处理应用.由此提出了一种无监督的基于子词信息的文本规范化方法,该方法在词向量构建过程中将词的内部信息考虑进去.这种方法可以对罕见词进行向量表示,也可以将词内部的形态信息融入词的表示,丰富词向量的表达,进而用于改进无监督学习中规范化词候选集生成质量的不足.实验表明,相比于传统词向量构建方法,该方法在文本规范化任务中可以提高规范化词的召回率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王磊	中国科学院新疆理化技术研究所新疆民族语音语言信息处理实验室	346	2763	24.0	41.0
2	杨雅婷	中国科学院新疆理化技术研究所新疆民族语音语言信息处理实验室	26	79	6.0	8.0
3	米成刚	中国科学院新疆理化技术研究所新疆民族语音语言信息处理实验室	8	44	4.0	6.0
4	张新路	中国科学院新疆理化技术研究所新疆民族语音语言信息处理实验室	1	0	0.0	0.0