基于非近似求导过程的加更新和乘更新分类算法

• 作者: 刘建伟 李双成 罗雄麟
• 来源期刊: 计算机学报
• 学科: 工学
• 关键词: 最优化对偶理论 非近似更新 在线学习 相关熵度量 相关熵损失
• 年，卷（期）: 2013,（2）
• 所属期刊栏目: 机器学习与数据挖掘
• 页码范围: 327-340
• 页数: 14页
• 分类号: TP18
• 字数: 10480字
• 语种: 中文
• DOI: 10.3724/SP.J.1016.2013.00327

摘要

自从Kivinen和Warmuth提出权衡正确性与保守性的在线学习框架后,此在线学习框架已被广泛引用.但是在Kivinen和Warmuth提出的梯度下降和指数梯度下降算法中,对目标函数中的损失函数求导过程中使用近似步骤会引起在线学习结果恶化.文中,运用对偶最优化理论,提出了非近似的基于平方距离相关熵损失函数分类算法和基于相关熵距离相关熵损失函数分类算法,通过4种不同维数的真实数据集的实验研究,验证了提出算法的分类预测性能.