基本信息来源于合作网站,原文需代理用户跳转至来源网站获取       
摘要:
蒸馏是一种让较少参数的学生模型学习大型教师模型知识的有效方法,然而这样高性能的教师模型往往很难获得.因此,一些研究人员提出了一种让每个学生模型相互学习的策略,以取代传统的师生学习范式.虽然这种方法最近取得了良好的效果,但学生网络之间的相互学习很容易提前达到饱和.故此提出了一种基于互学习的在线蒸馏系统(MLS)用于在线知识蒸馏,该系统为每个学生模型提出了一个权重评估机制(LFS)和一个虚拟教师.虚拟教师是通过计算得到的权重结合学生网络的输出来构建的,这样学生就可以在下一阶段从表现更好的同伴网络那里学到更多知识.通过将所提出的方法应用于三个公共数据集CIFAR10、CIFAR100和Tiny-ImageNet,实验结果表明,本文模型是有效的,可行的.
推荐文章
一种基于在线学习的弹道识别方法
弹道识别
支持向量机(SVM)
在线优化
Pegasos
一种在线学习监督辅助系统的设计与研究
在线学习
异常学习行为
学习信用度
学习监督
一种在线向量机增强学习算法
在线
向量机
增强学习
一种基于Boosting的在线回归算法
在线回归
集成算法
概念漂移
内容分析
关键词云
关键词热度
相关文献总数  
(/次)
(/年)
文献信息
篇名 一种高效的基于互学习的在线蒸馏系统
来源期刊 电子世界 学科
关键词
年,卷(期) 2021,(23) 所属期刊栏目 技术交流
研究方向 页码范围 132-134
页数 3页 分类号
字数 语种 中文
DOI
五维指标
传播情况
(/次)
(/年)
引文网络
引文网络
二级参考文献  (0)
共引文献  (0)
参考文献  (0)
节点文献
引证文献  (0)
同被引文献  (0)
二级引证文献  (0)
2021(0)
  • 参考文献(0)
  • 二级参考文献(0)
  • 引证文献(0)
  • 二级引证文献(0)
引文网络交叉学科
相关学者/机构
期刊影响力
电子世界
半月刊
1003-0522
11-2086/TN
大16开
北京市
2-892
1979
chi
出版文献量(篇)
36164
总下载数(次)
96
总被引数(次)
46655
论文1v1指导