基于条件随机场的汉语分词系统

• 作者: 刘群 李双龙 王成耀
• 来源期刊: 科技与创新
• 关键词: 汉语分词 条件随机场 感知机
• 年，卷（期）: 2006,（28）
• 所属期刊栏目: 软件天地
• 页码范围: 178-180
• 页数: 3页
• 分类号: TP391
• 语种: 中文
• DOI: 10.3969/j.issn.1008-0570.2006.28.064

摘要

汉语分词是自然语言处理的首要的基本工作.本文提出了一个基于条件随机场(简称CRF)的汉语分词模型,CRF模型作为一个判别模型,可以容纳任意的非独立的特征信息.我们首先将分词看作是一个标记的过程,然后利用CRF模型对每个汉字进行标记,最后转换为相应的分词结果.系统采用感知机(Perceptron)算法进行参数训练.跟以前利用CRF进行分词的模型相比,本系统定义并使用了不同的特征函数,取得了更好的切分结果.在1st SIGHAN分词比赛PK测试集上封闭测试,F值为95.2%.