NLP预训练家族 | Transformer-XL及其进化XLNet

相关推荐

• 论文解读：Bert原理深入浅出

  Bert 自 Google 于 2018 年发表至今,一直给人们带来惊喜,期间也陆陆续续因为Bert出现的原因多了不少新的岗位,甚至公司 JD 上都明确表明必须懂 Bert. 它在 11 项自然语言处 ...

• 一文理解 Transformer 的工作原理

  概  述 自然语言处理中的 Transformer 模型真正改变了我们处理文本数据的方式. Transformer 是最近自然语言处理发展的幕后推手,包括 Google 的 BERT. 了解 Tran ...

• 【NLP】TransformerXL：因为XL，所以更牛

  前面介绍过Transformer作为一种特征抽取器的强大之处.那么,它有没有弱点呢?能不能改进呢? 本文介绍Transformer的改进版,TransformerXL.看看它用了什么方法,改进了Tra ...

• 极市沙龙回顾｜CVPR2021-戴志港：UP-DETR，针对目标检测的无监督预训练Transformer

  作者丨戴志港 编辑丨极市平台 上周六,由极市平台与中国图象图形学学会联合举办的第三期极市CV开发者沙龙活动圆满结束. 本次线下沙龙的主题为CVPR2021论文研讨会.我们邀请了三位CVPR2021接收 ...

• CV和NLP中的无监督预训练(生成式BERT/iGPT和判别式SimCLR/SimCSE)

  在之前的文章中讲过unsupervised learning主要分为生成式和判别式,那么unsupervised pretrain自然也分为生成式和判别式.目前CV和NLP都出现了非常强大的无监督预训 ...

• NLP前沿预训练语言模型大赏

  预训练模型可以分为以下三个大类: 自回归模型 自动编码模型 序列到序列模型 什么是自回归模型(auto-regressive model):经典的语言建模任务,根据已读取文本内容预测下一个单词.比如T ...

• ICLR 2020 | 用ELECTRA实现更高效的NLP模型预训练

  背景 题目:ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators 机构:斯坦福.Google Bra ...

• EMNLP2021 “Transformer+预训练”再下一城，港科大开源高效的"多模态摘要总结"网络

  ▊ 写在前面 多模态摘要总结(Multimodal abstractive summarization,MAS)模型总结了视频(视觉模态)及其相应的文本(文本模态)的知识,能够从互联网上的大量多模态数 ...

• 推荐 10 个经典的 NLP 项目！涉及预训练 Bert、知识图谱、智能问答、机器翻译、对话等

  自然语言处理技术近几年发展非常快,像BERT.GPT-3.图神经网络.知识图谱等技术被大量应用于项目实践中. 今年大厂的NLP面试中对项目方面的考察深度也随之提升了很多,经常会被面试官揪着细节一步一步 ...

• 预训练语言模型关系图 必读论文列表，清华荣誉出品

  项目作者:王晓智.张正 预训练语言模型(PLM)是 NLP 领域的一大热门话题.从 BERT 到 GPT2 再到 XLNet,各种预训练模型层出不穷,不少同学感叹,「大佬慢点,跟不上了--」那么,这么 ...

• 百度生物计算平台螺旋桨负责人：预训练技术在生物计算中的新应用

  日前,由中国首家生物计算技术驱动的生命科学公司百图生科,与致力于 IT 和 BT 交叉融合的创新孵化中心播禾创新共同主办的 "首届中国生物计算大会" 刚刚落下了帷幕. 会上,围绕 ...

• 【作者解读】ERNIE-GEN : 原来你是这样的生成预训练框架！

  写在前面 文本生成作为自然语言处理非常重要的一环,百度发布了全新的生成式预训练模型ERNIE-GEN,一起看看来自paper作者对ERNIE-GEN的解读. 『ERNIE-GEN』主要针对: 生成训练 ...