中科院计算所郭嘉丰：预训练很重要，但「信息检索」怎么用？ / 开普饭

Bert 自 Google 于 2018 年发表至今,一直给人们带来惊喜,期间也陆陆续续因为Bert出现的原因多了不少新的岗位,甚至公司 JD 上都明确表明必须懂 Bert. 它在 11 项自然语言处 ...

在生成摘要的过程中,除了需要对单个代表性句子进行压缩或改写,还需要考虑多个句子的信息融合,尤其是两个句子(即 Sentence Pair)的信息融合.本文提出了一种对单个句子和句子进行联合打分的方法, ...

本篇介绍目前NLP领域里影响力最大的预训练模型BERT.首先,大致介绍了BERT里有什么:接着,介绍了BERT的结构和其预训练的方式:最后,再总结BERT的表征的内容和分布. 作者&编辑 | ...

如果没有去看日历,都没有意识到2019 年已经快一周了.今年你的开年愿望是什么呢? 今天分享一下最近很火的朋友圈许愿图,让你秀翻朋友圈~ 虽然春节还没来,但是提前学会,提前在朋友圈秀一把也未尝不可噢! ...

网球是名副其实的脚下运动,没有好的步法,你的网球就没有灵魂.要想正确地击球,必须首先移动到正确的位置,步法(场上的覆盖范围)是打网球的第一步.当练习时能够多拍相持,但在比赛中却无法做到这一点,你有没有 ...

项目作者:王晓智.张正预训练语言模型(PLM)是 NLP 领域的一大热门话题.从 BERT 到 GPT2 再到 XLNet,各种预训练模型层出不穷,不少同学感叹,「大佬慢点,跟不上了--」那么,这么 ...

日前,由中国首家生物计算技术驱动的生命科学公司百图生科,与致力于 IT 和 BT 交叉融合的创新孵化中心播禾创新共同主办的 "首届中国生物计算大会" 刚刚落下了帷幕. 会上,围绕 ...

你有没有出现过手抖的情况: 紧张.发火时,手会抖用筷子夹菜时,手会抖拿相机拍照时,手会抖 ... .... 不少人手抖会怀疑自己得了什么病?因为一说到'抖'.'震颤'为症状的病,大家经常会想到- ...

写在前面文本生成作为自然语言处理非常重要的一环,百度发布了全新的生成式预训练模型ERNIE-GEN,一起看看来自paper作者对ERNIE-GEN的解读. 『ERNIE-GEN』主要针对: 生成训练 ...

文图丨史国豪.刘德春暖花开,万物复苏正是练兵备战的"黄金期" 这不,三界训练场有了最新"战况"-- 近日,第72集团军某旅组织多个分队赴三界野外驻训贴 ...

Take away 因为我之前也经常在知乎看别人的论文阅读笔记,其实不喜欢那种整篇顺一遍几乎没有翻译或提炼的笔记.但会议通货膨胀,很容易遇到水文,我想每篇阅读笔记最前面都写一些take away,大家 ...

近年来,迁移学习改变了自然语言处理领域的范式,对预训练语言模型(PLM)进行微调(fine-tuning)已经成为了新的范式.本文主要梳理了近期的预训练语言模型做fine-tuning的进展. 另外, ...

中科院计算所郭嘉丰：预训练很重要，但「信息检索」怎么用？