一种实用的资源稀缺条件下的分词方法

• 作者: 于洪志 何向真 李亚超 马宁
• 来源期刊: 计算机应用研究
• 关键词: 分词 无监督分词 最大匹配 VE算法 间隔标注 资源
• 年，卷（期）: 2016,（1）
• 所属期刊栏目: 算法研究探讨
• 页码范围: 68-70,97
• 页数: 4页
• 分类号: TP391.1
• 语种: 中文
• DOI: 10.3969/j.issn.1001-3695.2016.01.015

摘要

在一些使用人数较少的语言中，缺少人工标注语料，研究在资源稀缺条件下的分词方法成了亟待解决的问题。研究了无监督的 VE 算法，以及最大匹配间隔标注算法，在此基础上提出一种无监督分词方法与最大匹配方法相结合的分词方法，并在汉语语料上进行实验。该分词方法显著提高了最大匹配分词方法的分词效果，同时也优于当前最好的无监督分词结果。实验表明，该方法快速、有效，利用较小的资源获得了较好的分词效果。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	于洪志	西北民族大学甘肃省民族语言智能处理重点实验室	157	612	12.0	16.0
2	何向真	西北民族大学甘肃省民族语言智能处理重点实验室	20	53	4.0	5.0
3	马宁	西北民族大学甘肃省民族语言智能处理重点实验室	46	139	6.0	9.0
4	李亚超	西北民族大学甘肃省民族语言智能处理重点实验室	13	141	6.0	11.0