一种基于广义KL距离和几何曲率的模型选择准则

• 作者: 刘蕴辉 杨坚 罗四维
• 来源期刊: 电子学报
• 学科: 工学
• 关键词: 模型选择 广义Kullback-Leibler距离 曲率立体阵 解轨迹 未来残差
• 年，卷（期）: 2005,（12）
• 所属期刊栏目: 科研通信
• 页码范围: 2272-2277
• 页数: 6页
• 分类号: TP183
• 字数: 7306字
• 语种: 中文
• DOI: 10.3321/j.issn:0372-2112.2005.12.041

摘要

模型选择的目标就是识别产生给定数据的模型.通常模型的好坏由模型的泛化能力来度量,而泛化能力包含模型对给定数据的拟合度和模型自身复杂度两个方面.本文从信息几何的观点使用定义在流形上的广义KL距离来度量模型的拟合度;另一方面从微分几何的观点用曲率的概念来度量模型的内在复杂度;因此,拟合度和复杂度的表示都具有在参数变换下保持不变的特点.通过理论分析,我们证明了用于表示模型预测能力的未来残差与模型固有曲率的关系.由此提出一种新的基于广义KL距离和曲率的模型选择准则KLCIC.该准则不仅考虑了样本大小、参数个数和函数形式等影响复杂度的因素,而且具有非常清晰直观的几何意义.实验结果表明该方法的有效性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	罗四维	北京交通大学计算机与信息技术学院计算机研究所	99	1303	17.0	33.0
2	刘蕴辉	北京交通大学计算机与信息技术学院计算机研究所	13	266	7.0	13.0
3	杨坚	北京交通大学计算机与信息技术学院计算机研究所	2	12	2.0	2.0