深度了解自监督学习，就看这篇解读！Hinton团队力作：SimCLR系列 / 开普饭

对比学习的概念很早就有了,但真正成为热门方向是在2020年的2月份,Hinton组的Ting Chen提出了SimCLR,用该框架训练出的表示以7%的提升刷爆了之前的SOTA,甚至接近有监督模型的效果 ...

前言笔者刚刚入门NLP的时候,其实还和朋友们调侃过"attention is all you need'这么绝对的标题也敢发出来?当然似乎后来还有一个paper是"cnn is ...

在之前的文章中讲过unsupervised learning主要分为生成式和判别式,那么unsupervised pretrain自然也分为生成式和判别式.目前CV和NLP都出现了非常强大的无监督预训 ...

2020年, Google 大脑.Facebook AI 团队 (FAIR)以及 DeepMind AI 团队相继发表了contrastive learning框架.本文整理了2020年以来,对比学习 ...

分享嘉宾:王明轩博士字节跳动算法科学家编辑整理:曾辉.Hoh 语音朗读:蒋志新出品平台:DataFunTalk 导读:本文的主题为火山翻译:工业级应用与研究,将从两个维度介绍字节跳动的机器翻译 ...

作者丨Smarter 来源丨Smarter 编辑丨极市平台极市导读本文从初代MoCo开始从头探索了MoCo系列,探究MoCo系列为什么对Self-Suoervised Learning领域产生了这 ...

本文介绍了Hinton团队发表在NeurIPS 2020上的一项研究工作,一作是Ting Chen,研究人员首次在ImageNet上尝试了半监督学习的典型范式,并取得了优越的结果.此外,他们还发现,网 ...

什么是关系抽取知识就是力量.使人类及机器能够更好地利用知识是提升工作效率及实现人工智能的关键所在,也催生了包括知识表示.知识推理在内的一系列研究.作为一切对知识的利用的基础,我们首先要获取知识,即知 ...

导读什么是自监督学习?为什么自监督学习是AI的未来?自监督学习如何实现? 本文将回顾下自监督学习的前世今生,介绍它在CV.NLP.Graph.RecSys.RL等领域已经取得的令人惊叹的效果! 1. ...

来自:哈工大讯飞联合实验室本期导读:近年来,序列到序列(seq2seq)方法成为许多文本生成任务的主流思路,在机器翻译.文本摘要等绝大多数生成任务上都得到了广泛的应用.与此同时,一些研究人员另辟蹊径 ...

❝ GiantPandaCV导语:这篇文章为大家介绍了一下Transformer模型,Transformer模型原本是NLP中的一个Idea,后来也被引入到计算机视觉中,例如前面介绍过的DETR就是将 ...

0. 引言事关休戚已成空,万里相思一夜中.大家好,我是卖麻辣烫的小男孩,先祝各位小伙伴们,元旦快乐,新的一年升职加薪,遇到更好的自己或者那个ta.今天给大家分享的这篇文章是Facebook AI.华 ...

作者丨科技猛兽编辑丨极市平台极市导读 kaiming 的 MoCo让自监督学习成为深度学习热门之一, Yann Lecun也在 AAAI 上讲 Self-Supervised Learning 是 ...

深度了解自监督学习，就看这篇解读 ！Hinton团队力作：SimCLR系列