2021年了，Transformer有可能替代CNN吗？未来有哪些研究方向？

相关推荐

• 你仅需要看一个序列！YOLOS：重新思考Transformer的泛化性能

  作者丨happy 审稿丨邓富城 编辑丨极市平台 极市导读 本文是华科&地平线关于Transformer的迁移学习.泛化性能方面的深度思考.重点揭示了Transformer的迁移学习能力与泛化性 ...

• 计算机视觉中的Transformer

  作者:Cheng He 编译:ronghuaiyang 导读 将Transformer应用到CV任务中现在越来越多了,这里整理了一些相关的进展给大家. Transformer结构已经在许多自然语言处理 ...

• 还在用ViT的16x16 Patch分割方法吗？中科院自动化所提出Deformable Patch-based方法，涨点显著！

  0 写在前面 目前,Transformer在计算机视觉方面取得了巨大的成功,但是如何在图像中更加有效的分割patch仍然是一个问题.现有的方法通常是将图片分成多个固定大小的patch,然后进行embe ...

• 搞懂 Vision Transformer 原理和代码，看这篇技术综述就够了（六）

  作者丨科技猛兽 编辑丨极市平台 极市导读 本文为详细解读Vision Transformer的第六篇,主要介绍了2种将卷积引入Transformer模型的方法:CvT和CeiT.>>加入极 ...

• NeurIPS2021-《YOLOS》-ViT现在可以做目标检测任务啦！华科提出目标检测新方法YOLOS

  NeurIPS2021-《YOLOS》-ViT现在可以做目标检测任务啦！华科提出目标检测新方法YOLOS

• UP-DETR：收敛更快！精度更高！华南理工&微信开源无监督预训练目标检测模型

  0 写在前面 基于Transformer编码器-解码器结构的DETR达到了与Faster R-CNN类似的性能.受预训练Transformer在自然语言处理方面取得巨大成功的启发,作者提出了一种基于r ...

• 极市沙龙|下周六CVPR2021论文线下研讨会邀你参会！坐标深圳

  随着三月的到来,春暖花开,时隔一年,极市CV开发者沙龙活动要回归啦!今年线下活动的第一站,将在深圳举行,其他城市的小伙伴不要着急,下一站说不定就在你的城市,可以在评论区留言噢. 本次极市CV开发者沙龙 ...

• 你算个什么鸟？AI十级“找茬”选手诞生

  杨净 丰色 发自 凹非寺 量子位 报道 | 公众号 QbitAI 你算个什么鸟? 面对上面这两张图,一个AI发出了灵魂拷问. 左边桃面牡丹鹦鹉,右边费氏牡丹鹦鹉. 一眼识破的它早就看到左边的鸟的喙部和 ...

• ICCV2021 MIT-IBM沃森开源CrossViT：Transformer走向多分支、多尺度

  详细信息如下: 论文链接:https://arxiv.org/abs/2103.14899 项目链接:https://github.com/IBM/CrossViT 导言: 与卷积神经网络相比,最近出 ...

• 重大里程碑！VOLO屠榜CV任务，无需额外数据，首次在ImageNet 上达到87.1%

  深度学习技术前沿 126篇原创内容 Official Account 链接:https://arxiv.org/abs/2106.13112 代码:https://github.com/sail-sg ...

• Transformer也能生成图像

  Transformer 已经为多种自然语言任务带来了突飞猛进的进步,并且最近也已经开始向计算机视觉领域渗透,开始在一些之前由 CNN 主导的任务上暂露头角.近日,加州大学圣迭戈分校与 Google R ...

• NeurIPS2021 MBT：多模态数据怎么融合？谷歌提出基于注意力瓶颈的方法，简单高效还省计算量

  详细信息如下: 论文链接:https://arxiv.org/abs/2107.00135 项目链接:未开源 导言: 人类通过同时处理和融合多种模态(如视觉和音频)的高维输入来感知世界.然而,机器感知 ...

• 对视觉任务更友好的Transformer，北航团队开源Visformer！

  ▊ 写在前面 目前,将基于视觉任务的Transformer结构正在快速发展.虽然一些研究人员已经证明了基于Transformer的模型具有良好的数据拟合能力,但仍有越来越多的证据表明这些模型存在过拟合 ...

• ​MobileViT 它来了！Apple 提出轻量、通用、适用于移动设备的Transformer！

  详细信息如下: 论文链接:https://arxiv.org/abs/2110.02178 复现代码:https://github.com/xmu-xiaoma666/External-Attenti ...

• Self-Attention真的是必要的吗？微软&中科大提出Sparse MLP，降低计算量的同时提升性能！

  ▊ 写在前面 Transformer由于其强大的建模能力,目前在计算机视觉领域占据了重要的地位.在这项工作中,作者探究了Transformer的自注意(Self-Attention)模块是否是其实现图 ...

• 来自Transformer的降维打击：ReID各项任务全面领先，阿里&浙大提出TransReID

  作者丨Happy 审稿丨邓富城 编辑丨极市平台 极市导读 Transformer在ReID领域的第一次全面探索!为更好的利用ReID的数据特性与Transformer的信息嵌入特征,本文提出了两种模块 ...

• 2021机器学习研究风向是啥？MLP→CNN→Transformer→MLP！

  设为 "星标",重磅干货,第一时间送达! 转载自 专知 就在2月份,Transformer还横扫CV和NLP各种task.但到了5月份,似乎一切变了.近来,谷歌.清华.Facebo ...

• patch成为了ALL You Need？挑战ViT、MLP-Mixer的简单模型来了

  来源丨机器之心 编辑丨极市平台 导读 ViT等视觉模型的强大性能,是来自于 Transformer,还是被忽略的 patch?有研究者提出了简单 ConvMixer 模型进行证明,直接将 patch ...

• GitHub项目推荐｜基于强化学习的自动化剪枝模型

  今天为大家介绍一个GitHub上最新开源的一个基于强化学习的自动化剪枝模型,本模型在图像识别的实验证明了能够有效减少计算量,同时还能提高模型的精度.项目地址:https://github.com/fr ...

• 没有残差连接的ViT准确率只有0.15%！北大&华为提出用于ViT的增强 Shortcuts，涨点显著！

  详细信息如下: 论文链接:https://arxiv.org/abs/2106.15941 项目链接:未开源 导言: 近年来,Transformer模型在计算机视觉领域取得了很大的进展.视觉Trans ...

• 搞懂 Vision Transformer 原理和代码，看这篇技术综述就够了（四）

  作者丨科技猛兽 审稿|邓富城 编辑丨极市平台 极市导读 本文为详细解读Vision Transformer的第四篇,主要包括2种vision Transformer的内部机制,即:1. 如何更好地利用 ...