COLING 2020 | CharBERT：字符敏感的预训练语言模型 / 开普饭

近年来,预训练语言模型的出现极大地推动了自然语言处理领域的发展.相较于普通的词向量,诸如ELMo, GPT, BERT将上下文信息也编码到词向量以及文本向量中,从而收获了比普通词向量更强的表达能力,在 ...

©PaperWeekly 原创 · 作者|孙裕道学校|北京邮电大学博士生研究方向|GAN图像生成.情绪对抗样本生成引言该论文是关于对抗训练的理论性的文章.这篇论文吸引我的点在于它详细的对对抗扰 ...

近年来,向模型中注入词汇信息进行词汇增强已经成为一种有效提升中文 NER 性能的方式.本文分享一篇新鲜出炉的来自 ACL 2021 的文章<Lexicon Enhanced Chinese Se ...

声明:本文转载自哈工大讯飞联合实验室公众号哈工大讯飞联合实验室(HFL)资深级研究员.研究主管崔一鸣受邀在NLPCC 2020会议做题为<Revisiting Pre-trained Mo ...

项目作者:王晓智.张正预训练语言模型(PLM)是 NLP 领域的一大热门话题.从 BERT 到 GPT2 再到 XLNet,各种预训练模型层出不穷,不少同学感叹,「大佬慢点,跟不上了--」那么,这么 ...

近年来,迁移学习改变了自然语言处理领域的范式,对预训练语言模型(PLM)进行微调(fine-tuning)已经成为了新的范式.本文主要梳理了近期的预训练语言模型做fine-tuning的进展. 另外, ...

预训练语言模型属于人工智能领域中自然语言处理领域的一个细分,是自然语言处理领域的重要突破,得到了越来越广泛的关注,相关研究者和从业人员在实际应用的过程中,亟需一本理论翔实.代码细节充分的参考书.本次给 ...

对预训练语言模型(LM)进行微调已成为在自然语言处理中进行迁移学习的事实上的标准.在过去的三年中(Ruder,2018),微调(Howard&Ruder,2018)取代了预训练embeddin ...

预训练模型可以分为以下三个大类: 自回归模型自动编码模型序列到序列模型什么是自回归模型(auto-regressive model):经典的语言建模任务,根据已读取文本内容预测下一个单词.比如T ...

NLP工作站 16篇原创内容公众号从以下5个部分通过QA的方式进行总结:Transformer架构.Transformer-Encoder预训练语言模型.Transformer-Decoder预训 ...

论文标题:AMBERT: A Pre-trained Language Model with Multi-Grained Tokenization(多粒度分词的预训练语言模型AMBERT) 作者:Xi ...

论文名称:Revisiting Pre-trained Models for Chinese Natural Language Processing 论文作者:崔一鸣,车万翔,刘挺,秦兵,王士进,胡国 ...

COLING 2020 | CharBERT：字符敏感的预训练语言模型