提高汉语自动分词精度的多步处理策略

• 作者: 于浩 刘芳 吕雅娟 杨沐昀 赵铁军
• 来源期刊: 中文信息学报
• 学科: 工学
• 关键词: 汉语自动分词 歧义 多步处理
• 年，卷（期）: 2001,（1）
• 页码范围: 13-18
• 页数: 6页
• 分类号: TP391.12
• 字数: 4059字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-0077.2001.01.002

摘要

汉语自动分词在面向大规模真实文本进行分词时仍然存在很多困难。其中两个关键问题是未登录词的识别和切分歧义的消除。本文描述了一种旨在降低分词难度和提高分词精度的多步处理策略，整个处理步骤包括7个部分，即消除伪歧义、句子的全切分、部分确定性切分、数词串处理、重叠词处理、基于统计的未登录词识别以及使用词性信息消除切分歧义的一体化处理。开放测试结果表明分词精确率可达98％以上。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	赵铁军	哈尔滨工业大学计算机科学与技术学院	123	1278	19.0	32.0
2	杨沐昀	哈尔滨工业大学计算机科学与技术学院	35	429	9.0	20.0
3	刘芳	哈尔滨工业大学计算机科学与技术学院	33	291	9.0	16.0
4	于浩	哈尔滨工业大学计算机科学与技术学院	22	480	10.0	21.0
5	吕雅娟	哈尔滨工业大学计算机科学与技术学院	8	530	8.0	8.0