一种新的错误驱动学习方法在中文分词中的应用

• 作者: 夏新松 肖建国
• 来源期刊: 计算机科学
• 学科: 工学
• 关键词: 中文分词 规则模板 词类 词内结构 基于转换的学习(TBL)
• 年，卷（期）: 2006,（3）
• 所属期刊栏目: 人工智能与图像处理技术
• 页码范围: 160-164
• 页数: 5页
• 分类号: TP3
• 字数: 6435字
• 语种: 中文
• DOI: 10.3969/j.issn.1002-137X.2006.03.044

摘要

中文分词应用中一个很重要的问题就是缺乏词的统一性定义.不同的分词标准会导致不同的分词结果,不同的应用也需要不同的分词结果.而针对不同的分词标准开发多个中文分词系统是不现实的,因此针对多种不同的分词标准,如何利用现有的分词系统进行灵活有效的输出就显得非常重要.本文提出了一种新的基于转换的学习方法,对分词结果进行后处理,可以针对不同的分词标准进行灵活有效的输出.不同于以往的用于分词的转换学习方法,该方法有效利用了一些语言学信息,把词类和词内结构信息引入规则模板和转换规则中.为了验证该方法,我们在4个标准测试集上进行了分词评测,取得了令人满意的效果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	肖建国	北京大学计算机科学技术研究所	30	478	12.0	21.0
2	夏新松	北京大学计算机科学技术研究所	1	14	1.0	1.0