一种神经范畴标注模型

• 作者: 吴惠甲 宗成庆 张家俊
• 来源期刊: 软件学报
• 学科: 工学
• 关键词: 范畴标注 分布式表示 神经语言模型 束搜索
• 年，卷（期）: 2016,（11）
• 所属期刊栏目: 模式识别与人工智能
• 页码范围: 2691-2700
• 页数: 10页
• 分类号: TP18
• 字数: 7711字
• 语种: 中文
• DOI: 10.13328/j.cnki.jos.004873

摘要

范畴标注是组合范畴语法解析中的子任务之一,可用于提高解析器的效率和性能.传统的最大熵模型需要手工定义特征模板,神经网络则通过隐含层学习到离散特征的分布式表示,从而自动提取分类需要的特征.引入该模型来解决该问题,在原有神经语言模型的基础上加入了向量化的词性表示层和范畴表示层,并通过反向传播自动更新词向量、词性向量和范畴向量,学习到它们的分布式表示.此外,在预测时采用束搜索的序列解码方式来引入标签之间的依赖信息.实验结果表明,这两种改进都能提升模型的性能,使其在范畴标注任务上比传统的最大熵模型效果要好(提升1％).