基于动态规划的最小代价路径汉语自动分词

• 作者: 孙晓 黄德根
• 来源期刊: 小型微型计算机系统
• 学科: 工学
• 关键词: 汉语自动分词 最长次长匹配 最小代价路径 切分歧义消解 未知词特征词
• 年，卷（期）: 2006,（3）
• 所属期刊栏目: 自然语言处理与算法研究
• 页码范围: 516-519
• 页数: 4页
• 分类号: TP391
• 字数: 5363字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-1220.2006.03.028

摘要

基于最长次长匹配的方法建立汉语切分路径有向图,将汉语自动分词转换为在有向图中选择正确的切分路径,其中有向图中的节点代价对应单词频度,而边代价对应所连接的两个单词的接续频度;运用改进后Dijkstra最小代价路径算法,求出有向图中路径代价最小的切分路径作为切分结果.在切分歧义的处理上采用分步过滤逐步解消的方法,并引入了基于未知词特征词驱动的机制,对未知词进行了前处理,减少了因未知词的出现而导致的切分错误.实验结果表明,该方法有效地提高了汉语分词的精确率和召回率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	黄德根	大连理工大学计算机科学与工程系	70	1191	19.0	33.0
2	孙晓	大连理工大学计算机科学与工程系	3	41	3.0	3.0