Bert在微博短文本情感分类中的应用与优化

• 作者: 宋明 刘彦隆
• 来源期刊: 小型微型计算机系统
• 关键词: 微博 情感分类 Bert 困难样本 Focal Loss Bert-FL
• 年，卷（期）: 2021,（4）
• 所属期刊栏目: 人工智能与算法研究|Artificial Intelligence and Algorithms Research
• 页码范围: 714-718
• 页数: 5页
• 分类号: TP391
• 语种: 中文
• DOI: 10.3969/j.issn.1000-1220.2021.04.007

摘要

微博短文本是一种典型的用户生成数据(user generate data),蕴含了丰富的用户情感信息,微博短文本情感分类在舆情分析等众多应用中具有较强的实用价值.微博短文本具有简洁不规范、话题性强等特征,现有研究表明基于有监督的深度学习模型能够显著提升分类效果.本文针对广播电视领域微博文本展开情感分类研究,实验对比了多种文本分类模型,结果表明基于Bert的情感分类方法准确率最高.深入分析实验结果发现,Bert模型对于困难样本的分类错误率较高,为此本文引入Focal Loss作为Bert模型的损失函数,提出一种基于Bert与Focal Loss的微博短文本情感分类方法(简称为Bert-FL方法),使得Bert模型能够更容易学习到困难样本的类别边界信息,实验表明Bert-FL方法的分类准确率绝对提升了0.8％,同时对困难样本的分类准确率也有显著提升.