非光滑凸问题投影型对偶平均优化方法的个体收敛性

• 作者: 曲军谊 鲍蕾 陶卿
• 来源期刊: 模式识别与人工智能
• 学科: 工学
• 关键词: 对偶平均 个体收敛速率 稀疏性 非光滑
• 年，卷（期）: 2021,（1）
• 所属期刊栏目: 论文与报告
• 页码范围: 25-32
• 页数: 8页
• 分类号: TP181
• 语种: 中文
• DOI: 10.16451/j.cnki.issn1003-6059.202101003

摘要

对于一般凸问题,对偶平均方法的收敛性分析需要在对偶空间进行转换,难以得到个体收敛性结果.对此,文中首先给出对偶平均方法的简单收敛性分析,证明对偶平均方法具有与梯度下降法相同的最优个体收敛速率O(lnt/(√t)).不同于梯度下降法,讨论2种典型的步长策略,验证对偶平均方法在个体收敛分析中具有步长策略灵活的特性.进一步,将个体收敛结果推广至随机形式,确保对偶平均方法可有效处理大规模机器学习问题.最后,在L1范数约束的hinge损失问题上验证理论分析的正确性.