一种基于字和子串联合标注的汉语分词方法

• 作者: 于江德 樊孝忠 葛文英 谷川
• 来源期刊: 山西大学学报（自然科学版）
• 学科: 工学
• 关键词: 汉语分词 条件随机场 词位标注 子串 特征模板
• 年，卷（期）: 2011,（3）
• 所属期刊栏目: 第三届全国智能信息处理学术会议论文选登
• 页码范围: 357-362
• 分类号: TP391
• 字数: 4615字
• 语种: 中文

摘要

近年来基于字的词位标注的方法极大地提高了汉语分词的性能,该方法将汉语分词转化为字的词位标注问题,借助于优秀的序列数据标注模型,基于字的词位标注汉语分词方法逐渐成为汉语分词的主要技术路线.针对一些领域文本中含有较多的英文词汇、缩写、数字等非汉字子串,提出了一种基于字和子串联合标注的汉语分词方法,该方法将子串看作和汉字等同的一个整体,采用四词位标注集,使用条件随机场模型深入研究了基于字和子串联合标注的汉语分词技术.在CIPS-SIGHAN2010汉语分词评测所提供的文学、计算机、医药、金融四个领域语料上进行了封闭测试,实验结果表明此方法比传统的字标注分词方法性能更好.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	樊孝忠	北京理工大学计算机科学技术学院	127	2336	26.0	43.0
2	葛文英	安阳师范学院计算机与信息工程学院	22	125	8.0	10.0
3	于江德	安阳师范学院计算机与信息工程学院	33	345	10.0	17.0
4	谷川	安阳师范学院计算机与信息工程学院	13	95	5.0	9.0