光滑孪生参数化不敏感支持向量回归机

• 作者: 黄华娟 韦修喜 周永权
• 来源期刊: 郑州大学学报（工学版）
• 学科: 工学
• 关键词: 孪生参数化不敏感支持向量回归机 光滑技术 异方差噪声 Newton法 训练效率
• 年，卷（期）: 2022,（2）
• 所属期刊栏目: 智能信息|Intelligent Information
• 页码范围: 28-34
• 页数: 7页
• 分类号: TP18
• 语种: 中文
• DOI: 10.13705/j.issn.1671-6833.2022.02.005

摘要

作为机器学习方法之一的孪生参数化不敏感支持向量回归机(TPISVR)有着简洁的数学模型,良好的学习性能,特别适合于求解带有结构异方差噪声的数据回归问题,然而TPISVR的训练速度较低,训练效率有待提高.TPISVR的传统算法可以归结为通过转化对偶问题的方法求解2个带有不等式约束的二次规划问题,然而这种求解二次规划问题的方法对于样本数目较大的问题将受到时间和内存的制约,这是导致TPISVR训练效率低的关键所在.针对此问题,首先,引入正号函数,将TPISVR的2个二次规划问题转化为2个不可微的无约束优化问题;其次,引入CHKS光滑函数和正则项,对TPISVR模型进行正则化,并对不可微的无约束优化问题进行光滑逼近,从而将不可微的模型转化为可微的无约束优化问题,并用收敛速度快的Newton-Armijo方法求解新模型,提出光滑孪生参数化不敏感支持向量回归机(STPISVR);最后,从理论上证明了STPISVR模型是收敛的,并具有任意阶光滑性.为了验证所提算法的有效性和可行性,对机器学习常用的人工数据集和U CI数据集进行仿真实验.实验结果表明:和其他机器学习方法相比,STPISVR在保证精度不下降的前提下,获得了更高的训练效率.