基于粗分和词性标注的中文分词方法

• 作者: 刘智渊 吴卫江 姜芳 岳翔 李国和 洪云峰 程远
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 分词 词性标注 隐马尔可夫模型 Viterbi算法
• 年，卷（期）: 2015,（6）
• 页码范围: 204-207,265
• 页数: 5页
• 分类号: TP391
• 字数: 5326字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1307-0290

摘要

中文分词是中文信息处理的重要内容之一。在基于最大匹配和歧义检测的粗分方法获取中文粗分结果集上，根据隐马尔可夫模型标注词性，通过Viterbi算法对每个中文分词的粗分进行词性标注。通过定义最优分词粗分的评估函数对每个粗分的词性标注进行粗分评估，获取最优的粗分为最终分词。通过实验对比，证明基于粗分和词性标注的中文分词方法具有良好的分词效果。