2020年度自监督学习梳理 / 开普饭

对比学习的概念很早就有了,但真正成为热门方向是在2020年的2月份,Hinton组的Ting Chen提出了SimCLR,用该框架训练出的表示以7%的提升刷爆了之前的SOTA,甚至接近有监督模型的效果 ...

作者丨happy 审稿丨邓富城编辑丨极市平台极市导读本文是FAIR的恺明团队针对自监督学习+Transformer的一篇实证研究.针对Transformer在自监督学习框架中存在的训练不稳定问题 ...

NewBeeNLP 永远有料,永远有趣 212篇原创内容公众号我为大家整理了对比学习在最新各大顶会上的论文合集及相应代码,所列举的论文涉及领域包括但不限于CV, NLP, Audio, Video ...

作者丨科技猛兽编辑丨极市平台极市导读 MoCo v1 是在 SimCLR 诞生之前的一种比较流行的无监督学习方法.本篇主要详细介绍了MoCo v1的做法.FAQ.实验以及完整的代码解读,经典之作值 ...

设为星标,干货直达! 机器学习算法工程师机器学习.深度学习.数据挖掘等人工智能领域的技术实战干货文章,这里都有!分享从业经验是我们的不变的准则-- 567篇原创内容公众号近期,FAIR的Kaim ...

作者丨科技猛兽编辑丨极市平台极市导读本文主要介绍Self-Supervised Learning 在 CV 领域的经典工作之一:SimCLR和SimCLR v2.>>加入极市CV技 ...

作者:李明达来自:哈工大SCIR 1.引言近两年,对比学习(Contrastive Learning)在计算机视觉领域(CV)掀起了一波浪潮,MoCo[1].SimCLR[2].BYOL[3].S ...

来源:AI科技评论 PyTorch Lightning 创始人的对比学习综述,对自监督学习.对比学习等进行了简要回顾. 近年来,自监督学习逐渐成为了备受人们关注的应对标注缺乏问题的热门解决方案,科研人 ...

导读什么是自监督学习?为什么自监督学习是AI的未来?自监督学习如何实现? 本文将回顾下自监督学习的前世今生,介绍它在CV.NLP.Graph.RecSys.RL等领域已经取得的令人惊叹的效果! 1. ...

作者|Happy 编辑丨极市平台极市导读本文是FAIR的陈鑫磊&何恺明大神在无监督学习领域又一力作,提出了一种非常简单的表达学习机制用于避免表达学习中的"崩溃"问题,从 ...

今天要介绍的这篇工作来自斯坦福和Facebook AI,作者在BERT分类任务的精调阶段加入了对比学习的loss,在各个任务上都获得了很稳定的提升: 上图中CE表示交叉熵,SCL表示Supervise ...

2020年度自监督学习梳理