一种深度学习批规范化改进算法

• 作者: 左文涛 李家华 罗国强
• 来源期刊: 计算机系统应用
• 关键词: 深度学习 批规范化 独立同分布 鲁棒性 泛化性
• 年，卷（期）: 2020,（4）
• 所属期刊栏目: 软件技术·算法
• 页码范围: 187-194
• 页数: 8页
• 字数: 5904字
• 语种: 中文
• DOI: 10.15888/j.cnki.csa.007347

摘要

现实中采集的数据由于需要适应实际工程需求以及数据细粒度信息的分类形式多样,样本数据间很难保持完全的独立同分布.而非独立同分布数据会严重降低深度神经网络模型训练的鲁棒性以及特定任务上的泛化性能.为了降低非独立同分布数据在模型训练和推断过程中的不良影响,提出一种批规范化的改进算法.该算法在神经网络模型训练开始前从数据集中取出一小批量数据做批规范化,求解出的均值与方差作为参考值用来更新训练时的其他批量数据.实验结果表明,该改进算法一定程度上能够加快神经网络模型训练收敛,相对于BN算法,分类错误率降低了0.3％,提高了神经网络模型训练的鲁棒性.在目标检测和实例分割任务上,应用该改进算法的预训练模型能够有效提高某些检测算法的泛化性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李家华	广州科技职业技术大学信息工程学院	33	72	4.0	7.0
2	左文涛	广州工商学院计算机科学与工程系	15	8	1.0	2.0
3	罗国强	广州科技职业技术大学信息工程学院	12	4	1.0	1.0