梯度有偏随机DA优化方法的个体收敛界分析

• 作者: 刘欣 张梦晗 汪海 鲍蕾
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 对偶平均方法 随机优化 个体收敛性 梯度有偏估计 最优收敛速率
• 年，卷（期）: 2019,（10）
• 所属期刊栏目: 人工智能及识别技术
• 页码范围: 203-207,214
• 页数: 6页
• 分类号: TP391
• 字数: 4655字
• 语种: 中文
• DOI: 10.19678/j.issn.1000-3428.0052466

摘要

样本不满足独立同分布会使梯度估计在迭代过程中存在偏差,且最优的个体收敛界在噪声的干扰下无法确定.为此,提出一种线性插值随机对偶平均(DA)优化方法.给出DA方法收敛性的证明,在梯度估计有偏的基础上,求解得到一种线性插值DA随机优化方法不产生累积偏差的个体收敛界,以保证正则化损失函数结构下优化方法的个体收敛精度.实验结果表明,与随机加速方法相比,该方法具有较快的个体收敛速率与较高的收敛精度.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘欣	中国人民解放军陆军炮兵防空兵学院基础部	44	118	6.0	10.0
2	汪海	中国人民解放军陆军炮兵防空兵学院信息工程系	22	233	9.0	15.0
3	鲍蕾	中国人民解放军陆军炮兵防空兵学院信息工程系	3	6	1.0	2.0
4	张梦晗	中国人民解放军陆军炮兵防空兵学院信息工程系	2	3	1.0	1.0