基于最大熵模型的越南语交叉歧义消解

• 作者: 余正涛 刘艳超 周兰江 熊明明 郭剑毅 陈秀琴
• 来源期刊: 中文信息学报
• 学科: 工学
• 关键词: 交叉歧义 歧义消解 最大熵模型 越南语词典 CRFs
• 年，卷（期）: 2017,（4）
• 所属期刊栏目: 少数民族语言处理
• 页码范围: 63-69
• 页数: 7页
• 分类号: TP301
• 字数: 5142字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-0077.2017.04.010

摘要

越南语中存在大量的交叉歧义片段.为了解决交叉歧义给分词 、词性标注 、实体识别和机器翻译等带来的影响,该文选取统计特征 、上下文特征和歧义字段内部特征,尝试性地构建最大熵模型,对越南语的交叉歧义进行消解.该文通过三种方法整理出包含174646词条的越南语词典,然后通过正向和逆向最大匹配方法从25981条人工标注好的越南语分词句子中抽取5377条歧义字段,分别测试了三类特征对歧义模型的贡献程度,并对歧义字段做五折交叉验证实验,准确率达到了87.86%.同时,与CRFs进行对比实验,结果表明该方法能更有效消解越南语交叉歧义.