多元回归学习算法收敛速度的估计

• 作者: 张永全 徐宗本 曹飞龙
• 来源期刊: 中国科学（信息科学）
• 关键词: 学习理论 收敛速度 覆盖数 熵数
• 年，卷（期）: 2011,（2）
• 所属期刊栏目: 计算机科学与技术
• 页码范围: 144-156
• 页数: 13页
• 语种: 中文

摘要

在许多应用中,回归函数的先验信息往往不能事先获取.因此,有必要利用有效的方法学习回归函数.本文研究学习理论中的回归问题,即研究多项式空间上具有最小二乘平方损失正则学习算法的收敛速度问题.主要目的在于分析学习理论中多维回归问题的泛化误差.利用逼近论中著名Jackson算子、覆盖数理论、集合的嫡数以及有关概率不等式,得到学习算法收敛速度的上、下界估计.特别地,对于满足一定条件的多元光滑回归函数,除一个对数因子外,所获的收敛速度是最优的.本文结果对研究回归学习算法的收敛性、稳定性及复杂性等有着重要的意义.