中文分词交叉型歧义消解算法

• 作者: 甘蓉
• 来源期刊: 西华大学学报（自然科学版）
• 学科: 工学
• 关键词: 中文分词 交叉型歧义 最大匹配算法 PA算法
• 年，卷（期）: 2018,（6）
• 所属期刊栏目: 计算机与信息技术
• 页码范围: 32-36
• 页数: 5页
• 分类号: TP391.1
• 字数: 4742字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-159X.2018.06.006

摘要

中文分词是自然语言处理的基础.交叉型歧义是提高中文分词精度的瓶颈之一.文章提出一种基于正向、负向最大匹配算法和passive aggressive(PA)算法结合的交叉型歧义消解算法.基于PA算法训练分词模型;利用正向、负向最大匹配算法检测交叉型歧义的位置;把可能出现交叉型歧义的句子或者句子的部分传递给分词模型,解码得到分词结果;最后,把正向、负向最大匹配结果和分词模型解码结果拼接成最终的分词结果.利用PA算法基于2014年2—12月份人民日报数据训练分词模型、2014年1月份人民日报数据作为测试语料进行实验,得到交叉型歧义的准确率、召回率和F-score分别为98.32％、98.14％和98.23％,说明该方法有效可行.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	甘蓉	陕西工业职业技术学院汽车工程学院	17	52	4.0	6.0