综合最大匹配和歧义检测的中文分词粗分方法

• 作者: 刘光胜 吴卫江 李国和 李洪奇 秦波波
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 中文分词 粗分 最大匹配算法 全切分算法 歧义检测
• 年，卷（期）: 2012,（14）
• 所属期刊栏目: 数据库、信号与信息处理
• 页码范围: 139-142,167
• 分类号: TP391
• 字数: 4112字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.2012.14.029

摘要

中文分词是中文文本信息处理的重要预处理.针对目前中文分词中存在的准确率低和粗分结果集大的问题,在最大匹配算法基础上,采用文本切分时的组合歧义检测和交叉歧义检测以及全切分算法,提高了文本粗分的准确率,并减小了粗分结果集的规模,为进一步正确分词奠定基础.通过公共语料库数据集的实验对比,取得很好的效果.