丹琦女神的对比学习新SOTA，在中文表现如何？我们补充实验后，惊了！ / 开普饭

2015年到18年间有很多优秀的文本表示模型,祭出宝图: 但基于交互的匹配模型明显优于单纯的表示,再加上BERT出来,就很少有人再去研究了,2019年只有一个Sentence-BERT,其实也只是把经 ...

前两天刷到一篇有意思的paper,文中将信息检索工具Anserini和BERT结合,实现了一个开放域的问答系统. 如图所示,论文的主要创新点是将BERT和Anserini整合,利用外部知识库(维基百科 ...

[NLP.TM] 我想现在NLP领域中,不知道bert的已经少之又少了,而bert的讲解文章也已经有了很多,这里我谈一下我最近学习得到的理解.事先说明,对bert和transformer完全不懂的人看 ...

作者丨东瓠编辑丨极市平台极市导读针对目前对抗攻击领域存在的一个痛点问题:神经网络鲁棒性的提升会伴随着准确率的下降,本文提出了一个新的研究视角.从数据集的内在属性出发,发现神经网络在一定条件下可以 ...

昨天arXiv新上一篇被NIPS2018会议接收的论文<DropBlock: A regularization method for convolutional networks>,作者为 ...

bert问世以来,相关研究和改进如雨后春笋般涌现,预训练模型得到了飞速的发展,并在NLP很多任务中取得了统治地位.工业界也对此产生了浓厚的兴趣,各大公司纷纷试图在搜索.推荐.分类等领域中引入bert. ...

NewBeeNLP公众号原创出品公众号专栏作者 @Maple小七北京邮电大学·模式识别与智能系统今天和大家来看看最近讨论度非常高的SimCSE,据说简单暴力还效果显著! 论文:SimCSE: S ...

本文转载自:机器之心 | 编辑:魔王.小舟端到端关系抽取涉及两个子任务:命名实体识别和关系抽取.近期研究多采用 joint 方式建模两个子任务,而陈丹琦等人新研究提出一种简单高效的 pipel ...

小伙伴们表示,插入替换的数据增强方式已经Out了,SimCSE才是现在的靓仔. snowfloating说:看完Danqi Chen组里的SimCSE,再看这篇感觉就没什么惊喜了. 苏神: 直接用dr ...

详细信息如下: 论文链接:https://arxiv.org/abs/2108.07954 项目链接:未开源导言: 自监督视觉表示学习方法依赖于实例识别(instance discrimi ...

本文看完,相信你会掌握这个无监督语义新SOTA模型ESimCSE. 从论文标题中可以看出,应该是对4月份丹琦女神发表的新作SimCSE的增强版(Enhance),并且也用到了对比学习来构建正负样本,那 ...

2020年,GPT-3可谓火出了圈. 不仅讲故事的本职工作做得风生水起,还跨界玩起了网页设计.运维.下象棋-- 不过,尽管表现惊艳,GPT-3背后到底是实实在在的1750亿参数,想要在实际应用场景中落 ...

IDC发布2021年中国人工智能市场10大预测近日,国际数据公司(IDC)发布了<IDCFutureScape:全球人工智能(AI)市场2021预测--中国启示>报告.在报告中,IDC全 ...

DeepMind官方博客在一篇文章"Fast reinforcement learning through the composition of behaviours"中,针对强化 ...

大家好,我是小花. 对比学习的大火

每天,我们都在不断的接受新的信息,而这些信息,慢慢的转化为可以随时使用的知识. 在课堂学习更是如此,是学习知识最高效的地方. 那么,新的知识学习是怎么样的进程呢? 01 入门,请接受孩子的笨拙刚接触 ...

丹琦女神的对比学习新SOTA，在中文表现如何？我们补充实验后，惊了！