一种基于EM非监督训II练的自组织分词歧义解决方案

• 作者: 孙建 杨力 王伟 钟义信
• 来源期刊: 中文信息学报
• 学科: 工学
• 关键词: EM算法 分词歧义 非监督
• 年，卷（期）: 2001,（2）
• 页码范围: 38-44
• 页数: 7页
• 分类号: TP391.1
• 字数: 5098字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-0077.2001.02.006

摘要

摘要：本文旨在提供一种基于非监督训练的分词歧义解决方案和一种分词算法。基于EM的思想，每个句子所对应的所有(或一定范围内)的分词结果构成训练集，通过这个训练集和初始的语言模型可以估计出一个新的语言模型。最终的语言模型通过多次迭代而得到。通过一种基于该最终语言模型的统计分词算法，对于每个句子至少带有一个歧义的测试集的正确切分精度达到85.36％(以句子为单位)。