一种利用知识迁移的卷积神经网络训练策略

• 作者: 周安众 罗可 罗潇
• 来源期刊: 控制与决策
• 学科: 工学
• 关键词: 卷积神经网络 知识迁移 过拟合 梯度弥散 预训练 微调
• 年，卷（期）: 2019,（3）
• 所属期刊栏目: 论文与报告
• 页码范围: 511-518
• 页数: 8页
• 分类号: TP181
• 语种: 中文
• DOI: 10.13195/j.kzyjc.2017.1183

摘要

针对深层卷积神经网络在有限标记样本下训练时存在的过拟合和梯度弥散问题,提出一种从源模型中迁移知识训练一个深层目标模型的策略.迁移的知识包括样本的类别分布和源模型的低层特征,类别分布提供了样本的类间相关信息,扩展了训练集的监督信息,可以缓解样本不足的问题;低层特征包含样本的局部特征,在相关任务的迁移过程中具有一般性,可以使目标模型跳出局部最小值区域.利用这两部分知识对目标模型进行预训练,能够使模型收敛到较好的位置,之后再用真实标记样本进行微调.实验结果表明,所提方法能够增强模型的抗过拟合能力,并提升预测精度.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	罗可	长沙理工大学计算机与通信工程学院	92	1085	16.0	28.0
2	周安众	长沙理工大学计算机与通信工程学院	4	18	3.0	4.0
3	罗潇	长沙理工大学计算机与通信工程学院	1	1	1.0	1.0