字节跳动 | AMBERT：一种多粒度Tokenization的预训练语言模型

相关推荐

• ACL 2021 | 丁香园知识增强预训练模型

  背景 使用预训练模型已经成为大部分NLP任务的标配,因此近年来有大量的工作围绕着如何提高预训练模型的质量.其中,引入外部知识无疑是最热门的话题之一.丁香园NLP联合华师大何晓丰老师团队,在今年的ACL ...

• ENRIE：知识图谱与BERT相结合，为语言模型赋能助力

  来自:朴素人工智能 感谢清华大学自然语言处理实验室对预训练语言模型架构的梳理,我们将沿此脉络前行,探索预训练语言模型的前沿技术,红框中为已介绍的文章,绿框中为本期介绍的模型,欢迎大家留言讨论交流. E ...

• 火山翻译：工业级应用与研究

  分享嘉宾:王明轩博士 字节跳动 算法科学家 编辑整理:曾辉.Hoh 语音朗读:蒋志新 出品平台:DataFunTalk 导读:本文的主题为火山翻译:工业级应用与研究,将从两个维度介绍字节跳动的机器翻译 ...

• 字节跳动火山翻译负责人：预训练时代的机器翻译

  2021年10月8日-10日,第十七届全国机器翻译大会 (CCMT 2021) 在西宁举行,字节跳动火山翻译团队技术和产品研发负责人王明轩以<预训练时代的机器翻译>为题,阐述预训练技术在机 ...

• 这篇论文提出了一个文本<->知识图谱的格式转换器...

  Hello, 大家好,我是小花.今天给大家介绍一篇有野心的paper.为何如此说呢?因为该工作提出了一个知识的格式转换器,用于转换 无结构化的纯文本(Text)和结构化的知识图谱(KG) .换句话说, ...

• NLP 训练及推理一体化工具（TurboNLPExp）

  NLP 任务(序列标注.分类.句子关系判断.生成式)训练时,通常使用机器学习框架 Pytorch 或 Tensorflow,在其之上定义模型以及自定义模型的数据预处理,这种方式很难做到模型沉淀.复用和 ...

• 阿里多语言翻译模型的前沿探索及技术实践

  分享嘉宾:张志锐博士 阿里达摩院 算法专家 编辑整理:曾辉 出品平台:DataFunTalk 导读:本文的主题为阿里多语言翻译模型的前沿探索及技术实践,将分三个部分介绍阿里巴巴在机器翻译方面的工作:首 ...

• 综述 | 三大路径，一文总览知识图谱融合预训练模型的研究进展

  当前,预训练模型已是AI领域较为成熟的一项技术,但由于基于神经网络架构的模型本身不具有常识能力,在一些涉及逻辑推理和认知的任务上力有不逮. 近年来,知识图谱越来越受到人们的关注,知识图谱旨在提供一种复 ...

• NLP预训练家族 | Transformer-XL及其进化XLNet

  NewBeeNLP 永远有料,永远有趣 194篇原创内容 公众号 最近又重新读了Transformer-XL和XLNet的论文和代码,又有很多新的感悟.其中,要想搞懂XLNet的同学一定要首先明白Tr ...

• NeurIPS'20 | 通过文本压缩，让BERT支持长文本

  这是今年清华大学及阿里巴巴发表在NIPS 2020上的一篇论文<CogLTX: Applying BERT to Long Texts>,介绍了如何优雅地使用bert处理长文本.作者同时开 ...

• 回顾BART模型

  最近在生成相关论文时,经常看到使用BART(Bidirectionaland Auto-Regressive Transformers,双向自回归变压器)模型作为基线比较,或在BART模型上进行修改. ...

• 深度了解自监督学习，就看这篇解读 ！微软首创：运用在 image 领域的BERT

  作者丨科技猛兽 来源丨极市平台 编辑丨极市平台 极市导读 本文介绍的这篇工作是把 BERT 模型成功用在 image 领域的首创,也是一种自监督训练的形式,所以取名为视觉Transformer的BER ...