一种基于N-gram模型和机器学习的汉语分词算法

• 作者: 吴应良 李海洲 韦岗
• 来源期刊: 电子与信息学报
• 学科: 工学
• 关键词: 汉语分词 N-gram模型 机器学习 查准率 查全率
• 年，卷（期）: 2001,（11）
• 所属期刊栏目: 论文
• 页码范围: 1148-1153
• 页数: 6页
• 分类号: TN-051.1
• 字数: 4260字
• 语种: 中文

摘要

汉语的自动分词,是计算机中文信息处理领域中一个基础而困难的课题.该文提出了一种将汉语文本句子切分成词的新方法,这种方法以N-gram模型为基础,并结合有效的Viterbi搜索算法来实现汉语句子的切词.由于采用了基于机器学习的自组词算法,无需人工编制领域词典.该文还讨论了评价分词算法的两个定量指标,即查准率和查全率的定义,在此基础上,用封闭语料库和开放语料库对该文提出的汉语分词模型进行了实验测试,表明该模型和算法具有较高的查准率和查全率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	韦岗	华南理工大学电子与通信工程系	253	2309	24.0	37.0
2	吴应良	华南理工大学工商管理学院	83	1131	18.0	30.0
3	李海洲	华南理工大学电子与通信工程系	3	108	2.0	3.0