深度神经网络内部迁移的信息几何度量分析

• 作者: 何嘉宝 李海峰 谭风云 费洪晓 陈力
• 来源期刊: 湖南大学学报（自然科学版）
• 关键词: 深度学习 迁移学习 信息几何
• 年，卷（期）: 2019,（2）
• 所属期刊栏目: 计算机科学
• 页码范围: 97-104
• 页数: 8页
• 分类号: TP183
• 语种: 中文
• DOI: 10.16339/j.cnki.hdxbzkb.2019.02.014

摘要

使用深度神经网络处理计算机视觉问题时,在新任务数据量较少情况下,往往会采用已在大数据集上训练好的模型权值作为新任务的初始权值进行训练,这种训练方式最终得到的模型泛化能力更好.对此现象,传统解释大多只是基于直觉分析而缺少合理的数学推导.本文将深度神经网络这种网络结构不变下层间的学习转为深度神经网络内部的迁移能力,并将学习过程变化形式化到数学表达式.考虑数据集对训练过程带来的影响,利用信息几何分析方法,确定不同数据集流形之上的度量和联络,实现不同数据集之间的嵌入映射,同时将参数空间的变化也放入流形空间,探究其对学习过程的共同影响,最终实现对这种内部迁移现象的数学解释.经过分析和实验验证可得内部迁移过程其实是一种能使网络可以在更广空间进行最优搜索的变化,有利于模型可以在学习过程中获得相对的更优解.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	费洪晓	中南大学软件学院	105	1153	15.0	30.0
2	李海峰	中南大学地球科学与信息物理学院	10	48	5.0	6.0
3	陈力	中南大学地球科学与信息物理学院	4	20	2.0	4.0
7	何嘉宝	中南大学软件学院	1	0	0.0	0.0
8	谭风云	中南大学软件学院	1	0	0.0	0.0