基于音节标注的藏文自动分词研究

• 作者: 于洪志 何向真 李亚超 马宁
• 来源期刊: 计算机应用研究
• 关键词: 藏文 分词 序列标注 最大熵 条件随机场 最大间隔Markov网络模型
• 年，卷（期）: 2015,（7）
• 所属期刊栏目: 算法研究探讨
• 页码范围: 1989-1991
• 页数: 3页
• 分类号: TP391.1
• 语种: 中文
• DOI: 10.3969/j.issn.1001-3695.2015.07.018

摘要

分词是藏文信息处理的基础性关键问题,是把连续的藏文音节序列组合成词序列的过程.针对藏文分词中的特殊问题,把藏文分词问题看成判断音节在词中的位置过程,分别实现了基于最大熵、条件随机场、最大间隔Markov网络模型等模型下的分词系统,并在同等条件下进行了实验对比.实验结果表明,在当前四字位的标注集下,基于条件随机场的藏文分词系统取得了最好的分词结果,同时其他序列标注模型也取得了较好的效果,说明基于音节标注的分词方法可以较为有效地处理藏文分词问题.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	于洪志	西北民族大学中国民族语言文字信息技术重点实验室	157	612	12.0	16.0
2	何向真	西北民族大学中国民族语言文字信息技术重点实验室	20	53	4.0	5.0
3	马宁	西北民族大学中国民族语言文字信息技术重点实验室	46	139	6.0	9.0
4	李亚超	西北民族大学中国民族语言文字信息技术重点实验室	13	141	6.0	11.0