面向文本数据的正则化交叉验证方法

• 作者: 李济洪 王瑞波 王钰
• 来源期刊: 中文信息学报
• 学科: 工学
• 关键词: 文本数据 正则化 交叉验证 信噪比
• 年，卷（期）: 2019,（5）
• 所属期刊栏目: 语言分析与计算
• 页码范围: 54-65
• 页数: 12页
• 分类号: TP391
• 字数: 11854字
• 语种: 中文

摘要

面向文本数据建模时,交叉验证方法是特征选择及模型比较任务中的常用方法.许多研究表明,文本数据模型的性能估计对交叉验证的数据切分方式较为敏感,不合理的切分方式可能会导致不稳定的性能估计值,使得实验结果可复现性差.该文试图论证基于多次重复(m次)的2折交叉验证,通过引入对训练集、验证集分布差异的约束,所构造的正则化m×2交叉验证方法(简记为m×2 BCV)可以改善模型的性能指标的估计,适宜于模型比较.该文首先针对文本数据引入训练集与验证集分布差异的卡方度量,基于该度量构建数据切分的正则化条件,以最大化模型性能指标的信噪比为目标,给出了满足正则化条件的m×2 BC V的数据切分优化算法.最后,以自然语言处理中汉语框架语义角色标注任务为例,验证了基于m×2 BC V方法的有效性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王钰	山西大学软件学院	26	107	4.0	10.0
2	李济洪	山西大学软件学院	58	261	10.0	14.0
3	王瑞波	山西大学软件学院	23	179	7.0	13.0