藏文文本分词赋码一体化研究

• 作者: 扎西加 高定国
• 来源期刊: 西藏大学学报（自然科学版）
• 学科: 工学
• 关键词: 藏文 分词 词性赋码
• 年，卷（期）: 2012,（1）
• 所属期刊栏目: 交通信息
• 页码范围: 57-61
• 分类号: TP391.1
• 字数: 3402字
• 语种: 中文

摘要

在藏文文本理解中虚词发挥着重要的句法、语义桥接作用,其规则的有效性在藏文分词处理中扮演着特殊的角色.由于虚词本身及其角色的丰富性,在一定意义上可以说藏文分词处理是虚词识别的过程.因此,虚词识别的正确与否直接影响着藏文文本分词处理的效果.文章依据藏语自身的语法规律和虚词功能的特殊性,首先构建了虚词知识库、虚词兼类库,以及其作为藏文连续文本中识别虚词的依据;其次,研制了标有词汇属性的分词词表和一定规模的训练语料库资源,以基于条件随机域(CRF)的方法进行词性标注,并结合虚词和词性赋码的资源制作了藏文自动分词赋码一体化处理的模型.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	扎西加	西藏大学工学院	22	97	6.0	9.0
2	高定国	西藏大学藏文信息技术研究中心	40	113	6.0	8.0