ResNet被全面超越了，是Transformer干的：依图科技开源“可大可小”T2T-ViT，轻量版优于MobileNet

相关推荐

• patch成为了ALL You Need？挑战ViT、MLP-Mixer的简单模型来了

  来源丨机器之心 编辑丨极市平台 导读 ViT等视觉模型的强大性能,是来自于 Transformer,还是被忽略的 patch?有研究者提出了简单 ConvMixer 模型进行证明,直接将 patch ...

• NeurIPS2021-《YOLOS》-ViT现在可以做目标检测任务啦！华科提出目标检测新方法YOLOS

  NeurIPS2021-《YOLOS》-ViT现在可以做目标检测任务啦！华科提出目标检测新方法YOLOS

• 用于大规模图像识别的转换器

  视频介绍:用于大规模图像识别的转换器 虽然卷积神经网络(CNN)自 1980 年代以来一直用于计算机视觉,但直到 2012 年AlexNet 大幅超越当代最先进的图像识别方法的性能时,它们才处于最前沿 ...

• ICCV2021-PiT-池化操作不是CNN的专属，ViT说：“我也可以”；南大提出池化视觉Transformer（PiT）

  详细信息如下: 论文链接:https://arxiv.org/abs/2103.16302 项目链接:https://github.com/naver-ai/pit 导言: Vision Transf ...

• 吴恩达团队新研究：在ImageNet上优化的模型，真的能更好胜任医学影像任务吗？

  来源:新智元 目前,已经有不少深度学习模型被广泛地用于辅助性的胸片(Chest X-Ray)解释,这有助于帮助减轻临床医生的日常工作. 其中,使用预训练的 ImageNet 模型进行迁移学习,已经成为 ...

• 对视觉任务更友好的Transformer，北航团队开源Visformer！

  ▊ 写在前面 目前,将基于视觉任务的Transformer结构正在快速发展.虽然一些研究人员已经证明了基于Transformer的模型具有良好的数据拟合能力,但仍有越来越多的证据表明这些模型存在过拟合 ...

• MobileFormer-在目标检测任务上怒涨8.6 AP，微软新作MobileFormer

  0 写在前面 在本文中,作者提出了一个并行设计的双向连接MobileNet和Transformer的结构Mobile-Former.这种结构利用了MobileNet在局部信息处理和Transforme ...

• 自注意力真的是Transformer的必杀技吗？MSRA否认三连，并反手给你扔来一个sMLPNet

  作者丨happy 编辑丨极市平台 极市导读 本文构建了一种Attention-free.基于MLP的sMLPNet,主要将MLP模块中的token-mixing替换为稀疏MLP(sparse MLP, ...

• NAS+CNN+Transformer=ViT-Res！MIT团队重磅开源ViT-Res，精度高于DeiT-Ti8.6%

  本文分享论文『Searching for Efficient Multi-Stage Vision Transformers』,由 MIT 团队重磅开源 ViT-Res,Tiny 模型精度比 DeiT ...

• 2021机器学习研究风向是啥？MLP→CNN→Transformer→MLP！

  设为 "星标",重磅干货,第一时间送达! 转载自 专知 就在2月份,Transformer还横扫CV和NLP各种task.但到了5月份,似乎一切变了.近来,谷歌.清华.Facebo ...

• 重大里程碑！VOLO屠榜CV任务，无需额外数据，首次在ImageNet 上达到87.1%

  深度学习技术前沿 126篇原创内容 Official Account 链接:https://arxiv.org/abs/2106.13112 代码:https://github.com/sail-sg ...

• Dropout也能自动化了，谷歌大神Quoc Le等人利用强化学习自动找寻模型专用Dropout

  阅读大概需要5分钟 Follow小博主,每天更新前沿干货 在机器学习领域里,Dropout 是一个较为重要的方法,其可以暂时丢弃一部分神经元及其连接,进而防止过拟合,同时指数级.高效地连接不同网络架构 ...

• Self-Attention真的是必要的吗？微软&中科大提出Sparse MLP，降低计算量的同时提升性能！

  ▊ 写在前面 Transformer由于其强大的建模能力,目前在计算机视觉领域占据了重要的地位.在这项工作中,作者探究了Transformer的自注意(Self-Attention)模块是否是其实现图 ...

• 谷歌最新提出无需卷积、注意力 ，纯MLP构成的视觉架构！网友：MLP is All You Need...

  当前,卷积神经网络(CNN)和基于自注意力的网络(如近来大火的 ViT)是计算机视觉领域的主流选择,但研究人员没有停止探索视觉网络架构的脚步.近日,来自谷歌大脑的研究团队(原 ViT 团队)提出了一种 ...

• 性能超越谷歌！依图团队提出新一代移动端网络架构MobileNeXt

  [新智元导读]AIoT的时代即将来临,移动端智能应用呈爆发式增长,但是大型神经网络在移动端的性能制约了AI在移动端的推广.最近,依图团队发表在ECCV的一篇论文,提出了新一代移动端神经网络架构Mobi ...

• 谷歌研究员：Transformer那些有趣的特性

  作者丨ChaucerG 来源丨集智书童 编辑丨极市平台 极市导读 本文发现了Transformer的一些重要特性,如Transformer对严重的遮挡,扰动和域偏移具有很高的鲁棒性.与CNN相比,Vi ...