一种用于提升深度学习分类模型准确率的正则化损失函数

• 作者: 李成华 杨斌 江小平 石鸿凌
• 来源期刊: 中南民族大学学报（自然科学版）
• 学科: 工学
• 关键词: 深度学习模型 正则化损失函数 过拟合 标签平滑
• 年，卷（期）: 2020,（1）
• 所属期刊栏目: 物理与电子信息科学
• 页码范围: 74-78
• 页数: 5页
• 分类号: TP391.4
• 字数: 3405字
• 语种: 中文
• DOI: 10.12130/znmdzk.20200114

摘要

针对现有深度学习分类模型存在由标签边缘化效应引起的过拟合问题,提出了一种新的正则化损失函数得分聚类损失函数.该函数为每个类别学习一个得分中心,将同类别样本的得分向得分中心聚集.得分中心经过softmax函数归一化后的概率向量,即为最佳的平滑标签.该函数避免了根据经验手工设置标签平滑系数,起到了自动平滑标签的作用,从而减轻了模型过拟合的风险.给出了得分聚类损失函数的定义和推导,并在刚性和非刚性图像分类任务上与其他正则化损失函数进行了实验比较.实验结果表明,应用本文的得分聚类损失函数能显著提高分类模型的准确率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	杨斌	中南民族大学电子信息工程学院智能无线通信湖北省重点实验室	17	45	4.0	6.0
2	李成华	中南民族大学电子信息工程学院智能无线通信湖北省重点实验室	21	294	6.0	17.0
3	江小平	中南民族大学电子信息工程学院智能无线通信湖北省重点实验室	29	291	6.0	17.0
4	石鸿凌	中南民族大学电子信息工程学院智能无线通信湖北省重点实验室	1	0	0.0	0.0