基于知识蒸馏与迁移学习结合的多模态音乐情感识别

• 作者: 赵剑 刘华平 梁晓晶 高月洁
• 来源期刊: 复旦学报（自然科学版）
• 关键词: 知识蒸馏 迁移学习 多模态音乐情感 深度学习
• 年，卷（期）: 2021,（3）
• 所属期刊栏目: 2020年全国声音与音乐技术会议(CSMT 2020)论文集|Proceeding of China Conference on Sound and Music Technology in 2020(CSMT 2020)
• 页码范围: 309-314,322
• 页数: 7页
• 分类号: TP3
• 语种: 中文

摘要

音乐情感识别的难题是缺乏足够的标签数据或者只有类别不均衡的标签数据训练情感识别模型,准确地标注情感类别不仅成本高而且耗时,且对标注者有着较高的音乐背景要求;同时,音乐的情感往往受多种因素的影响,演唱方式、音乐风格、编曲方式、歌词等因素都会影响到音乐情感的传达.本文提出一种基于知识蒸馏与音乐曲风迁移学习结合的多模态方法,在20 000首歌曲上验证了该方法的有效性.实验证明,与单一音频、单一歌词及单一音频与歌词多模态方法相比,该方法的情感识别准确率均有明显的提高,且泛化能力得到提升.