2021年预训练语言模型及微调的最新进展

相关推荐

• 学习的 85% 法则

  开智学堂6小时前 关注 走出舒适区,但不要走出太多. 编者按:本文来自微信公众号"开智学堂"(ID:openmindclub),作者:车子,36氪经授权发布. 学习状态可以分为三个 ...

• EMNLP2019最佳论文揭晓，约翰霍普金斯大学华人作者与NLP大牛Jason Eisner获奖

  2019年EMNLP自然语言处理实证方法会议(Conference on Empirical Methods in Natural Language Processing)于今日在中国香港闭幕. 本届 ...

• 用AI构建AI - AutoML综述

  用AI构建AI - AutoML综述

• 语言模型微调领域有哪些最新进展？一文详解最新趋势

  选自ruder.io 作者:SEBASTIAN RUDER 机器之心编译 编辑:小舟 详解 2020 最具影响力的十大 ML.NLP 研究的 DeepMind 研究科学家又来了,这次来讲讲语言模型微调 ...

• 【AutoML】如何选择最合适的数据增强操作

  大家好,欢迎来到专栏<AutoML>.在这个专栏中,我们会讲述AutoML技术在深度学习中的应用.这一期讲述在数据增强中的应用,这也是AutoML技术最早期的应用之一. 作者&编辑 ...

• 写作神器还是魔鬼化身？万能语言模型GPT-3起底

  「工程壮举」「人间奇迹」GPT-3,会让人类离没事做又近一步吗? 编译 |  心缘 编辑 |  漠影 2020年6月,在训练约2000亿个单词.烧掉几千万美元后,史上最强大AI模型GPT-3一炮而红. ...

• 自然语言处理顶会CoNLL 2019最佳论文揭晓！

  EMNLP和CoNLL大会堪称自然语言处理(NLP)领域的年度盛宴. 11月3日,EMNLP-IJCNLP 2019在中国香港正式开幕. EMNLP是由国际语言学会(ACL)下属的SIGDAT小组主办 ...

• 预训练语言模型关系图 必读论文列表，清华荣誉出品

  项目作者:王晓智.张正 预训练语言模型(PLM)是 NLP 领域的一大热门话题.从 BERT 到 GPT2 再到 XLNet,各种预训练模型层出不穷,不少同学感叹,「大佬慢点,跟不上了--」那么,这么 ...

• 预训练语言模型fine-tuning近期进展概述

  近年来,迁移学习改变了自然语言处理领域的范式,对预训练语言模型(PLM)进行微调(fine-tuning)已经成为了新的范式.本文主要梳理了近期的预训练语言模型做fine-tuning的进展. 另外, ...

• 如何掌握好自然语言处理中的预训练语言模型？你需要读这本书

  预训练语言模型属于人工智能领域中自然语言处理领域的一个细分,是自然语言处理领域的重要突破,得到了越来越广泛的关注,相关研究者和从业人员在实际应用的过程中,亟需一本理论翔实.代码细节充分的参考书.本次给 ...

• NLP前沿预训练语言模型大赏

  预训练模型可以分为以下三个大类: 自回归模型 自动编码模型 序列到序列模型 什么是自回归模型(auto-regressive model):经典的语言建模任务,根据已读取文本内容预测下一个单词.比如T ...

• 常用预训练语言模型（PTMs）总结

  NLP工作站 16篇原创内容 公众号 从以下5个部分通过QA的方式进行总结:Transformer架构.Transformer-Encoder预训练语言模型.Transformer-Decoder预训 ...

• 字节跳动 | AMBERT：一种多粒度Tokenization的预训练语言模型

  论文标题:AMBERT: A Pre-trained Language Model with Multi-Grained Tokenization(多粒度分词的预训练语言模型AMBERT) 作者:Xi ...

• 中文预训练语言模型回顾

  论文名称:Revisiting Pre-trained Models for Chinese Natural Language Processing 论文作者:崔一鸣,车万翔,刘挺,秦兵,王士进,胡国 ...

• COLING 2020 | CharBERT：字符敏感的预训练语言模型

  ©PaperWeekly 原创 · 作者|张琨 学校|中国科学技术大学博士生 研究方向|自然语言处理 论文标题: CharBERT: Character-aware Pre-trained Langu ...

• 赛尔原创@Findings | 中文预训练语言模型回顾

  论文名称:Revisiting Pre-trained Models for Chinese Natural Language Processing 论文作者:崔一鸣,车万翔,刘挺,秦兵,王士进,胡国 ...