基于知识蒸馏的自适应多领域情感分析

• 作者: 杨修远 彭韬 杨亮 林鸿飞
• 来源期刊: 山东大学学报（工学版）
• 关键词: 知识蒸馏 自适应 多领域 情感分析 深度学习
• 年，卷（期）: 2021,（3）
• 所属期刊栏目: 机器学习与数据挖掘|Machine Learning & Data Mining
• 页码范围: 15-21,29
• 页数: 8页
• 分类号: TP391
• 语种: 中文
• DOI: 10.6040/j.issn.1672-3961.0.2020.249

摘要

提出一种自适应多领域知识蒸馏框架,有效地加速推理和减小模型参数同时确保模型性能,采用知识蒸馏方法对情感分析问题进行研究.针对每个特定领域进行知识蒸馏,模型蒸馏涉及词嵌入层蒸馏、编码层蒸馏(注意力蒸馏、隐藏状态蒸馏)、输出预测层蒸馏等多个方面;针对不同领域,学生模型保持相同的编码器,即共享权重,通过不同的领域特定输出层拟合不同的教师模型.在多个公开数据集上的试验结果表明,单领域知识蒸馏使得模型准确度平均提升2.39％,多领域知识蒸馏使得模型准确度平均提升0.5％.与单领域的知识蒸馏相比,该框架增强了学生模型的泛化能力,提升了性能.