基于最大间隔马尔可夫网模型的汉语分词方法

• 作者: 常宝宝 李月伦
• 来源期刊: 中文信息学报
• 学科: 工学
• 关键词: 计算机应用 中文信息处理 最大间隔马尔可夫网模型 汉语分词 机器学习
• 年，卷（期）: 2010,（1）
• 页码范围: 8-14
• 页数: 7页
• 分类号: TP391
• 字数: 6389字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-0077.2010.01.002

摘要

分词是汉语自然语言处理研究中非常重要的一个环节,在早先的研究中,最大熵模型和条件随机场(CRF)模型已经广泛运用到汉语自动分词的工作中.最大间隔马尔可夫网(M3N)模型是近年来由B.Taskar等~([1])人提出的一种新型结构学习模型.该文尝试将这一模型用于汉语分词建模并进行实验,实验结果显示,基于给定的训练语料与测试语料,分词精度可以达到95%,表明基于最大间隔马尔科夫网的汉语分词方法可以取得较高的分词精度,是一种有效的汉语分词方法.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	常宝宝	北京大学计算语言学研究所	27	445	12.0	21.0
2	李月伦	北京大学计算语言学研究所	1	19	1.0	1.0