运用有向图进行中文分词研究

• 作者: 张培颖
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 中文分词 有向图 中文分词有向图 切分路径 互信息
• 年，卷（期）: 2009,（22）
• 所属期刊栏目: 数据库、信息处理
• 页码范围: 123-125
• 页数: 3页
• 分类号: TP301.6
• 字数: 2484字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.2009.22.040

摘要

首先说明了分词在中文信息处理中的作用,然后介绍了分词系统中的关键技术.提出了一种基于有向图的中文分词算法,该算法首先构造中文分词有向图,然后计算中文分词有向图中所有可能的切分路径,最后利用了最少分词原则、汉字之间的互信息和词语的频率等信息给中文分词有向图中的每条切分路径打分,分数最高的路径就对应正确的切分结果.开放测试结果表明分词精确率可达90%以上.