文章摘要:在线知识蒸馏通过同时训练两个或多个模型的集合，并使之相互学习彼此的提取特征，从而实现模型性能的共同提高。已有方法侧重于模型间特征的直接对齐，从而忽略了决策边界特征的独特性和鲁棒性。该算法利用一致性正则化来指导模型学习决策边界的判别性特征。具体地说，网络中每个模型由特征提取器和一对任务特定的分类器组成，通过正则化同一模型不同分类器间以及不同模型对应分类器间的分布距离来度量模型内和模型间的一致性，这两类一致性共同用于更新特征提取器和决策边界的特征。此外，模型内一致性将作为自适应权重，与每个模型的平均输出加权生成集成预测值，进而指导所有分类器与之相互学习。在多个公共数据集上，该算法均取得了较好的表现性能。

文章关键词:计算机视觉,模型压缩,在线知识蒸馏,一致性正则化,

项目基金:国家自然科学基金资助项目(61572113),

论文作者:张晓冰 龚海刚 刘明 

作者单位:电子科技大学计算机科学与工程学院 

论文DOI: 10.19734/j.issn.1001-3695.2021.05.0139

论文分类号: TP391.41

相似文献:图正则化字典对学习的轻度认知功能障碍预测.....作者:魏彩锋,孙永聪,曾宪华,刊载期刊：《智能系统学报》
基于稀疏正则化和渐近边界假设的运动模糊图像盲复原.....作者:龚平,贺杰,刘娜,卢振坤,刊载期刊：《济南大学学报(自然科学版)》
图正则化非负矩阵分解的异质网社区发现.....作者:刘家骥,包崇明,周丽华,王崇云,孔兵,刊载期刊：《计算机工程与应用》
融合重叠社区正则化及隐式反馈的协同过滤方法.....作者:李翔锟,贾彩燕,刊载期刊：《计算机应用》
基于自适应正则化的东北虎重识别方法.....作者:于慧伶,钱成帅,刊载期刊：《计算机工程与应用》
基于联合正则化策略的人脸表情识别方法.....作者:兰凌强,李欣,刘淇缘,卢树华,刊载期刊：《北京航空航天大学学报》
混合非凸非光滑正则化约束的模糊图像盲复原.....作者:耿源谦,吴传生,刘文,刊载期刊：《计算机应用》
自适应时间正则化相关滤波的无人机目标跟踪.....作者:张飞,马时平,刊载期刊：《电光与控制》
基于一致性正则化与熵最小化的半监督学习算法.....作者:邵伟志,潘丽丽,雷前慧,黄诗祺,马骏勇,刊载期刊：《郑州大学学报(理学版)》
基于对偶图正则化的多层概念分解算法.....作者:张显,叶军,刊载期刊：《计算机应用研究》

相关文章:大数据的技术创新和应用—以人口普查为例.....作者:冯乃林
大数据融合应用技术框架与行业应用.....作者:段飞虎
大数据人工智能驱动图书馆知识服务和学科建设.....作者:姜爱蓉
基于大数据的知识共享与协同创新.....作者:顾新建
敦煌莫高窟文化遗产数字化保护——数字敦煌.....作者:夏生平
Looking at People Through the Lens of Images 透过镜头理解人物行为.....作者:Li CHENG
The Role of Digitization in Post COVID Scenarios 数字化在后疫情场景中的角色.....作者:Rafiq Ahmad
Computational Analysis of the Voynich Manuscript 十五世纪伏尼契码的智能解析.....作者:Greg Kondrak

文章来源：中华实验和临床感染病 网址: http://zhsyhlcgrb.400nongye.com/lunwen/itemid-72795.shtml

上一篇： 妇产科学论文_妊娠乙肝再激活及相关处理
下一篇： 临床医学论文_疫情报道高频术语（十四）