基于判别式分类和重排序技术的藏文分词

• 作者: 刘群 华却才让 吕雅娟 姜文斌 孙萌 才智杰
• 来源期刊: 中文信息学报
• 学科: 工学
• 关键词: 判别式 藏文分词 构词粒度 重排序
• 年，卷（期）: 2014,（2）
• 所属期刊栏目: 少数民族语言信息处理
• 页码范围: 61-65,90
• 页数: 6页
• 分类号: TP391
• 字数: 4246字
• 语种: 中文

摘要

本文提出一种基于判别式模型的藏文分词方法,重点研究最小构词粒度和分词结果重排序对藏文分词效果的影响.在构词粒度方面,分别考察了以基本字丁、基本字丁—音节点、音节为最小构词粒度对分词效果的影响,实验结果表明选定音节为最小构词粒度分词的F值最高,为91.21％;在分词结果重排序方面,提出一种基于词图的最短路径重排序策略,将判别式解码生成的切分结果压缩为加权有向图,图中节点表示音节间隔,而边所覆盖的音节作为候选切分并赋予不同权重,选择一条最短路径从而实现整句切分,最终分词结果的F值达到96.25％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	姜文斌	中国科学院计算技术研究所	17	153	8.0	12.0
5	孙萌	中国科学院计算技术研究所	5	27	3.0	5.0
14	吕雅娟	中国科学院计算技术研究所	18	162	9.0	12.0
18	才智杰	青海师范大学藏文信息研究中心	37	246	9.0	14.0
19	华却才让	青海师范大学藏文信息研究中心	18	86	6.0	8.0