基于双语协同训练的最大名词短语识别研究

• 作者: 史树敏 李业刚 苏超 鉴萍 黄河燕
• 来源期刊: 软件学报
• 学科: 工学
• 关键词: 最大名词短语 半监督学习 标注投射 双语协同训练 短语识别
• 年，卷（期）: 2015,（7）
• 所属期刊栏目: 模式识别与人工智能
• 页码范围: 1615-1625
• 页数: 11页
• 分类号: TP18
• 字数: 9286字
• 语种: 中文
• DOI: 10.13328/j.cnki.jos.004630

摘要

针对传统方法对双语最大名词短语识别一致性差以及跨领域识别能力弱的缺点,提出一种基于半监督学习的双语最大名词短语识别算法.利用汉英最大名词短语的互译性和识别的互补性,把平行的汉语句子和英语句子这两个数据集看作一个数据集的两个不同的视图进行双语协同训练.在协同训练中,把双语对齐标注一致率作为标记置信度估计依据,进行增量标记数据的选择.实验结果表明:该算法显著提高了双语最大名词短语的识别能力,在跨领域测试和同领域测试中,F值分别比目前最好的最大名词短语识别模型提高了4.52％和3.08％.