基于Sherman-Morrison公式的K-FAC算法

• 作者: 刘小雷 高凯新 王勇
• 来源期刊: 计算机系统应用
• 关键词: 深度学习 二阶优化方法 K-FAC算法 Sherman-Morrison公式 Fisher信息矩阵
• 年，卷（期）: 2021,（4）
• 所属期刊栏目: 软件技术·算法|Software Technique · Algorithm
• 页码范围: 118-124
• 页数: 7页
• 语种: 中文
• DOI: 10.15888/j.cnki.csa.007869

摘要

二阶优化方法可以加速深度神经网络的训练,但是二阶优化方法巨大的计算成本使其在实际中难以被应用.因此,近些年的研究提出了许多近似二阶优化方法的算法.K-FAC算法提供了一种近似自然梯度的有效方法.在K-FAC算法的基础上,结合拟牛顿方法的思想,提出了一种改进的K-FAC算法.在开始的少量迭代中利用K-FAC算法计算,在后续迭代中构造秩–1矩阵,通过Sherman-Morrison公式进行计算,大大降低了计算复杂度.实验结果表明,改进的K-FAC算法比K-FAC算法有相似甚至是更好的实验表现.特别的,改进的K-FAC算法与K-FAC算法相比减少了大量的训练时间,而且与一阶优化方法相比,在训练时间上仍具有一定的优势.