基于链式条件随机场的中文分词改进方法

• 作者: 任智慧 周晗 徐浩煜 施俊
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: 中文分词 词位标注 条件随机场 特征模板
• 年，卷（期）: 2016,（12）
• 所属期刊栏目: 算 法
• 页码范围: 211-213,233
• 页数: 4页
• 分类号: TP391
• 字数: 4946字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2016.12.050

摘要

基于链式条件随机场模型的序列标注中文分词方法随着中文分词评测 Bakeoff 的展开得到广泛应用。词位标注集和特征模板集对该模型的学习至关重要，但当前的研究大多采用单一的标注集和特征模板集进行实验，缺乏标注集和特征模板集结合的尝试，使得中文分词中未登录词识别率不高，从而影响互联网领域语料的分词效果。首次采用六词位标注集结合 TMPT-10和TMPT-10｀特征模板，并与常见标注集和特征模板集的组合在 Bakeoff 语料上进行实验对比，结果表明，改进的方法6tag-tmpt10取得更好的未登录词召回率，在互联网领域中文分词能取得很好的效果；同时在 F 值上也与其他最好结果相当。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	施俊	上海大学通信与信息工程学院	36	309	8.0	17.0
2	徐浩煜	中国科学院上海高等研究院航空通讯技术联合实验室	8	139	5.0	8.0
8	周晗	中国科学院上海高等研究院航空通讯技术联合实验室	6	116	3.0	6.0
9	任智慧	中国科学院上海高等研究院航空通讯技术联合实验室	2	89	2.0	2.0