CV和NLP中的无监督预训练(生成式BERT/iGPT和判别式SimCLR/SimCSE) / 开普饭

尽管基于BERT的模型在NLP诸多下游任务中取得了成功,直接从BERT导出的句向量表示往往被约束在一个很小的区域内,表现出很高的相似度,因而难以直接用于文本语义匹配. 为解决BERT原生句子表示这种& ...

生成式模型有着其天生的优势,即学习到丰富的特征,但它也有广受诟病的确定.判别式目标函数--长期以来被认为是无用的.这是因为,判别式模型通常不是直接拟合原有的分布流形,学习到的特征较为单一.但是,最近一 ...

实战是学习一门技术最好的方式,也是深入了解一门技术唯一的方式.因此,NLP专栏推出了实战专栏,让有兴趣的同学在看文章之余也可以自己动手试一试. ALBERT是一个比BERT要轻量,效果更好的模型,本篇 ...

预训练模型可以分为以下三个大类: 自回归模型自动编码模型序列到序列模型什么是自回归模型(auto-regressive model):经典的语言建模任务,根据已读取文本内容预测下一个单词.比如T ...

来自:NLP从入门到放弃最近抽时间把SIMCSE用Pytorch复现了一下,中途涉及到的几个思考点,和大家分享一下: 注:原作者有开源论文代码,不过有些复杂,大家可以看一下自己魔改一下: 全文思路如 ...

来自:朴素人工智能感谢清华大学自然语言处理实验室对预训练语言模型架构的梳理,我们将沿此脉络前行,探索预训练语言模型的前沿技术,红框中为已介绍的文章,绿框中为本期介绍的模型,欢迎大家留言讨论交流. E ...

自2018年下半年开始,到现在为止,预训练语言模型的发展基本呈现爆发趋势,研究人员数目越来越多,研究方向也越来越广. 近日,在第十九届中国计算语言学大会(CCL2020)上,华为诺亚方舟实验室语音语义 ...

NewBeeNLP公众号原创出品公众号专栏作者 @Maple小七北京邮电大学·模式识别与智能系统今天和大家来看看最近讨论度非常高的SimCSE,据说简单暴力还效果显著! 论文:SimCSE: S ...

这是今年清华大学及阿里巴巴发表在NIPS 2020上的一篇论文<CogLTX: Applying BERT to Long Texts>,介绍了如何优雅地使用bert处理长文本.作者同时开 ...

转载自 | AI科技评论作者| 陈大鑫近日,有位外国网友在Reddit上发帖称利用metacurate.io持续读取了2020年度arxiv上有关AI.机器学习.NLP和数据科学的大量论文资源.到 ...

小伙伴们表示,插入替换的数据增强方式已经Out了,SimCSE才是现在的靓仔. snowfloating说:看完Danqi Chen组里的SimCSE,再看这篇感觉就没什么惊喜了. 苏神: 直接用dr ...

CV和NLP中的无监督预训练(生成式BERT/iGPT和判别式SimCLR/SimCSE)