LG-Transformer：全局和局部建模Transformer结构新作 / 开普饭

作者简介陀飞轮:复旦大学研究生在读,研究方向是目标检测.分割.跟踪好文!非常insight!研究思路类似于DPN,DPN深入探讨了ResNet和DenseNet的优缺点,然后结合ResNet和De ...

作者丨happy 审稿丨邓富城编辑丨极市平台极市导读谷歌&罗格斯大学的研究员对ViT领域的分层结构设计进行了反思与探索,提出了一种简单的结构NesT,方法凭借68M参数取得了超越Swin ...

新智元报道来源:arXiv 编辑:LRS [新智元导读]Transformer模型好是好,可惜太慢了!最近一位清华大神在arxiv上传了一篇论文,提出新模型Fastformer,线性时间复杂度,训练 ...

作者丨小马编辑丨极市平台极市导读本文作者提出了一个视觉解析器(Visual Parser,ViP),将视觉特征分为part级别和whole级别.通过显示建模part特征和whole特征,从而提升 ...

作者丨Happy 审稿|邓富城编辑丨极市平台极市导读又一篇Transformer来了!本文在ViT方面进行了一次突破性探索,提出了首次全面超越ResNet,甚至轻量化版本优于MobileNet系 ...

设为星标,干货直达! GG-Transformer 上海交大提出的GG Transformer其主要思路是改变window的划分方式,window不再局限于一个local region,而是来自全局. ...

来自:专知摘要 Transformers 在自然语言处理.计算机视觉和音频处理等许多人工智能领域都取得了巨大的成功.因此,自然会引起学术界和工业界研究人员的极大兴趣.到目前为止,各种各样的Trans ...

作者丨小马编辑丨极市平台极市导读本文提出了十字形状的自注意力机制,能够在水平和垂直两个方向上同时计算注意力权重.在没有额外数据预训练的情况,CSWin-B能达到85.4%的top-1准确率,用I ...

介绍: 代码生成是一个重要的人工智能问题,有可能显着提高程序员的生产力.给定以自然语言编写的规范,代码生成系统会将规范转换为可执行程序.例如,如果 python 程序员给出指令"初始化字典 ...

本文介绍淘宝详情页全网分发场景的机制. 商品详情页是手淘内流量最大的模块之一,它加载了数十亿级商品的详细信息,是用户整个决策过程必不可少的一环.这个区块不仅要承接用户对当前商品充分感知的诉求,同时也要 ...

重磅干货,第一时间送达小白导读论文是学术研究的精华和未来发展的明灯.小白决心每天为大家带来经典或者最新论文的解读和分享,旨在帮助各位读者快速了解论文内容.个人能力有限,理解难免出现偏差,建议对文章 ...

作者丨小马编辑丨极市平台极市导读本文提出了Focal Self-Attention,对当前token周围的区域进行细粒度的关注,对离当前token较远的区域进行粗粒度的关注,用这样的方式来更加有 ...

作者丨happy 编辑丨极市平台极市导读本文构建了一种Attention-free.基于MLP的sMLPNet,主要将MLP模块中的token-mixing替换为稀疏MLP(sparse MLP, ...

最近复旦放出了一篇各种Transformer的变体的综述(重心放在对Transformer结构(模块级别和架构级别)改良模型的介绍),打算在空闲时间把这篇文章梳理一下: 知乎:https://zhua ...

LG-Transformer：全局和局部建模Transformer结构新作