基于上下文信息提取的概率分词算法

• 作者: 曾华琳 李堂秋
• 来源期刊: 学术问题研究
• 学科: 工学
• 关键词: 中文分词 N元模型 上下文信息
• 年，卷（期）: xswtyj_2006,（1）
• 页码范围: 127-131
• 页数: 5页
• 分类号: TP301.6

摘要

汉语分词在汉语文本处理过程中是一个十分特殊而重要的组成部分。传统的基于词典的分词算法存在着很大的缺陷,它们无法对未登陆词进行很好的处理。而基于概率的算法只考虑了训练集语料的概率模型,对于不同领域的文本的处理效果不尽人意。本文提出了一种基于上下文信息提取的概率分词算法,它能够将预切分文本的上下文信息加入分词概率模型中,以上下文信息指导文本的切分。这种切分算法结合经典n元模型以及EM算法,在开放测试环境中取得了比较好的效果。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李堂秋		24	294	8.0	17.0
2	曾华琳		7	111	3.0	7.0