细说何恺明团队在无监督领域的顶作：MoCo三部曲 / 开普饭

作者丨科技猛兽编辑丨极市平台极市导读本文主要介绍Self-Supervised Learning 在 CV 领域的经典工作之一:SimCLR和SimCLR v2.>>加入极市CV技 ...

▊ 写在前面近年来,多模态预训练模型在视觉和语言之间架起了桥梁.然而,大多数研究都是通过假设文本和图像对之间存在很强的语义关联来对图像-文本对之间的跨模态交互进行显式建模.由于这种强假设在现实场景中 ...

AI TIME欢迎每一位AI爱好者的加入! 在自然语言处理(NLP)领域,基于生成词向量的BERT算法由于其优秀的性能被关注.其中BERT算法最重要的部分便是Transformer.加速Transfo ...

本文分享论文『Searching for Efficient Multi-Stage Vision Transformers』,由 MIT 团队重磅开源 ViT-Res,Tiny 模型精度比 DeiT ...

对比学习的概念很早就有了,但真正成为热门方向是在2020年的2月份,Hinton组的Ting Chen提出了SimCLR,用该框架训练出的表示以7%的提升刷爆了之前的SOTA,甚至接近有监督模型的效果 ...

作者丨小马编辑丨极市平台极市导读作者专为目标检测任务"量身定制"了对比学习框架DetCo,在PASCAL VOC数据集上,DetCo在100个epoch时的性能就与MoCo ...

来自:对白的算法屋作者:对白对比学习方法(CV) 对比学习要做什么? 有监督训练的典型问题,就是标注数据是有限的. 目前NLP领域的经验,自监督预训练使用的数据量越大,模型越复杂,那么模型能够吸收 ...

作者|Happy 编辑丨极市平台极市导读本文是FAIR的陈鑫磊&何恺明大神在无监督学习领域又一力作,提出了一种非常简单的表达学习机制用于避免表达学习中的"崩溃"问题,从 ...

转载自:新智元来源:reddit | 编辑:LRS [导读]两个月前自监督学习领域出了一篇重磅论文,LeCun和他的学生共同完成新模型Barlow Twins,reddit网友指出,第一张图就错 ...

设为星标,干货直达! 机器学习算法工程师机器学习.深度学习.数据挖掘等人工智能领域的技术实战干货文章,这里都有!分享从业经验是我们的不变的准则-- 567篇原创内容公众号近期,FAIR的Kaim ...

作者丨happy 审稿丨邓富城编辑丨极市平台极市导读本文是FAIR的恺明团队针对自监督学习+Transformer的一篇实证研究.针对Transformer在自监督学习框架中存在的训练不稳定问题 ...

作者丨科技猛兽编辑丨极市平台极市导读 MoCo v1 是在 SimCLR 诞生之前的一种比较流行的无监督学习方法.本篇主要详细介绍了MoCo v1的做法.FAQ.实验以及完整的代码解读,经典之作值 ...

作者丨苏剑林@知乎(已授权) 来源丨https://zhuanlan.zhihu.com/p/400925524 编辑丨极市平台极市导读本文以Transformer为中心展开,梳理了模型的初始化. ...

来源:AI科技评论 PyTorch Lightning 创始人的对比学习综述,对自监督学习.对比学习等进行了简要回顾. 近年来,自监督学习逐渐成为了备受人们关注的应对标注缺乏问题的热门解决方案,科研人 ...

❝ GiantPandaCV导语:这篇文章为大家介绍了一下Transformer模型,Transformer模型原本是NLP中的一个Idea,后来也被引入到计算机视觉中,例如前面介绍过的DETR就是将 ...

李健武汉大学硕士,研究方向为机器学习与计算机视觉作者 | 李健(微信号:lijian05170517) 编辑 | 李健大家都知道有效的数据对于深度学习的重要性,然而有时能够获取的数据确实有限,为 ...

作者:李明达来自:哈工大SCIR 1.引言近两年,对比学习(Contrastive Learning)在计算机视觉领域(CV)掀起了一波浪潮,MoCo[1].SimCLR[2].BYOL[3].S ...

导读什么是自监督学习?为什么自监督学习是AI的未来?自监督学习如何实现? 本文将回顾下自监督学习的前世今生,介绍它在CV.NLP.Graph.RecSys.RL等领域已经取得的令人惊叹的效果! 1. ...

深度自监督学习(deep self-supervised learning)近来受到了极大关注,很多可用于解决图像和视频的自监督学习方法涌现了出来.不同的数据模态具有截然不同的数据特性,在自监督学习的 ...

作者丨科技猛兽来源丨极市平台编辑丨极市平台极市导读本文介绍的这篇工作是把 BERT 模型成功用在 image 领域的首创,也是一种自监督训练的形式,所以取名为视觉Transformer的BER ...

细说何恺明团队在无监督领域的顶作：MoCo三部曲