基于半监督CRF的跨领域中文分词

• 作者: 罗智勇 邓丽萍
• 来源期刊: 中文信息学报
• 关键词: 跨领域 中文分词 半监督CRF
• 年，卷（期）: 2017,（4）
• 所属期刊栏目: 语言分析与计算
• 页码范围: 9-19
• 页数: 11页
• 字数: 7248字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-0077.2017.04.003

摘要

中文分词是中文信息处理领域的一项关键基础技术.随着中文信息处理应用的发展,专业领域中文分词需求日益增大.然而,现有可用于训练的标注语料多为通用领域(或新闻领域)语料,跨领域移植成为基于统计的中文分词系统的难点.在跨领域分词任务中,由于待分词文本与训练文本构词规则和特征分布差异较大,使得全监督统计学习方法难以获得较好的效果.该文在全监督CRF中引入最小熵正则化框架,提出半监督CRF分词模型,将基于通用领域标注文本的有指导训练和基于目标领域无标记文本的无指导训练相结合.同时,为了综合利用各分词方法的优点,该文将加词典的方法 、加标注语料的方法和半监督CRF模型结合起来,提高分词系统的领域适应性.实验表明,半监督CRF较全监督CRF OOV召回率提高了3.2个百分点,F-值提高了1.1个百分点;将多种方法混合使用的分词系统相对于单独在CRF模型中添加标注语料的方法OOV召回率提高了2.9个百分点,F-值提高了2.5个百分点.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	罗智勇	北京语言大学语言信息处理研究所	9	186	5.0	9.0
2	邓丽萍	北京语言大学信息科学学院	1	22	1.0	1.0