自监督黑马SimCLRv2来了！提出蒸馏新思路，可迁移至小模型，性能精度超越有监督

相关推荐

• ICCV2021 Oral SimROD：简单高效的数据增强！华为提出了一种简单的鲁棒目标检测自适应方法

  ▊ 写在前面 本文提出了一种简单有效的鲁棒目标检测无监督自适应方法(SimROD).为了克服域转移(domain shift)和伪标签噪声(pseudo-label noise)等问题,本文的方法集成 ...

• 利用CNN来检测伪造图像

  重磅干货,第一时间送达 随着像Facebook和Instagram这样的社交网络服务的出现,在过去十年中产生的图像数据量有一个巨大增加.使用图像(和视频)等处理软件GNU Gimp,Adobe Pho ...

• 基于深度学习的钢轨伤损超声检测与分类

  随着铁路运营里程.速度.密度的不断增加,为保障铁路交通运输的安全性,对钢轨的检测要求也进一步提高.钢轨作为铁路运输系统的重要组成部件,在长期循环列车荷载作用及外部环境影响下,易产生轨头核伤.轨腰斜裂缝 ...

• 科普 | 自监督视觉特征学习

  从此不迷路 计算机视觉研究院 计算机视觉研究院 主要由来自于大学的研究生组成的团队,本平台从事机器学习与深度学习领域,主要在人脸检测与识别,多目标检测研究方向.本团队想通过计算机视觉战队平台打造属于自 ...

• 【AI有识境】如何掌握好图像分类算法？

  大家好,这是专栏<AI有识境>的第一篇文章,讲述如何掌握好图像分类算法. 进入到有识境界,可以大胆地说自己是一个非常合格的深度学习算法工程师了,能够敏锐地把握自己研究的领域,跟踪前沿和能落 ...

• 手把手写Demo系列之车道线检测

  快速获得最新干货 文章导读 本文是一篇从零开始做车道线检测Demo的教学式文章,从场景的定义到模型微调的输出,描述车道线Demo式例程中在每个环节需要做的工作,以及中途可能会遇到的各种问题. 1 场景 ...

• 一文梳理2020年大热的对比学习模型

  对比学习的概念很早就有了,但真正成为热门方向是在2020年的2月份,Hinton组的Ting Chen提出了SimCLR,用该框架训练出的表示以7%的提升刷爆了之前的SOTA,甚至接近有监督模型的效果 ...

• 2021最新对比学习（Contrastive Learning）在各大顶会上的经典必读论文解读

  NewBeeNLP 永远有料,永远有趣 212篇原创内容 公众号 我为大家整理了对比学习在最新各大顶会上的论文合集及相应代码,所列举的论文涉及领域包括但不限于CV, NLP, Audio, Video ...

• 对比学习（Contrastive Learning）在CV与NLP领域中的研究进展

  来自:对白的算法屋 作者:对白 对比学习方法(CV) 对比学习要做什么? 有监督训练的典型问题,就是标注数据是有限的. 目前NLP领域的经验,自监督预训练使用的数据量越大,模型越复杂,那么模型能够吸收 ...

• BERT微调效果不佳？不如试试这种大规模预训练模型新范式

  BERT模型自发布至今已整整两年了,但是其余热仍未消减.从一经问世的轰动,简单应用/微调便可达到某个领域或者任务的SOTA效果:到如今的各种『被吊打』,BERT巨人肩膀上的新宠大致可以分为以下这么几类 ...

• AAAI 2021：基于对比自监督学习的图分类

  本文转自 MIND Laboratory微信公众号,原文地址 https://mp.weixin.qq.com/s/nB-hUPeiRcDiSd6uja6rUQ Contrastive Self-su ...

• Hinton新作！越大的自监督模型，半监督学习需要的标签越少

  本文介绍了Hinton团队发表在NeurIPS 2020上的一项研究工作,一作是Ting Chen,研究人员首次在ImageNet上尝试了半监督学习的典型范式,并取得了优越的结果.此外,他们还发现,网 ...