基于最大熵模型的交集型切分歧义消解

• 作者: 张锋 樊孝忠
• 来源期刊: 北京理工大学学报
• 学科: 工学
• 关键词: 中文信息处理 汉语自动分词 交集型歧义 最大熵模型
• 年，卷（期）: 2005,（7）
• 所属期刊栏目: 信息科学与控制
• 页码范围: 590-593
• 页数: 4页
• 分类号: TP391
• 字数: 3336字
• 语种: 中文
• DOI: 10.3969/j.issn.1001-0645.2005.07.006

摘要

利用最大熵模型研究中文自动分词中交集型切分歧义的消解.模型输出的类别为两种:前两个字结合成词和后两个字结合成词.模型采用的特征为:待切分歧义字段的上下文各一个词、待切分歧义字段和歧义字段两种切分可能的词概率大小关系.通过正向最大匹配(FMM)和逆向最大匹配(BMM)相结合的分词方法,发现训练文本中的交集型歧义字段并进行标注,用于最大熵模型的训练.实验用1998年1月<人民日报>中出现的交集型歧义字段进行训练和测试,封闭测试正确率98.64%,开放测试正确率95.01%,后者比常用的词概率法提高了3.76%.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	樊孝忠	北京理工大学信息科学技术学院计算机科学工程系	127	2336	26.0	43.0
2	张锋	北京理工大学信息科学技术学院计算机科学工程系	12	411	8.0	12.0