医用Transformer：用于3D MRI分析的通用脑编码器
重磅干货，第一时间送达
小黑导读
论文是学术研究的精华和未来发展的明灯。小黑决心每天为大家带来经典或者最新论文的解读和分享，旨在帮助各位读者快速了解论文内容。个人能力有限，理解难免出现偏差，建议对文章内容感兴趣的读者，一定要下载原文，了解具体内容。
摘要
由于现实世界中用于训练数据驱动的深度学习模型的标注三维医学数据集有限，迁移学习在医学图像分析中受到了关注。现有的基于3d的方法将预先训练好的模型转移到下游任务中，仅使用少量的训练样本就取得了很好的效果。然而，他们需要大量的参数来训练模型进行三维医学成像。在这项工作中，作者提出了一个新的迁移学习框架，称为医疗变压器，有效地建模三维体积图像的形式的二维图像切片序列。为了使三维形式的高级表示更好地增强空间关系，作者采用了多视图方法，利用了三维体的三个平面的大量信息，同时提供参数高效训练。为了建立一个普遍适用于各种任务的源模型，作者使用一个大规模的正常、健康的大脑磁共振成像(MRI)数据集，以一种自我监督学习的方式对模型进行预训练，作为一个代理任务，用于掩蔽编码向量预测。作者的预训练模型在三个下游任务上进行评估:(i)脑疾病诊断，(ii)脑年龄预测，(iii)脑肿瘤分割，这些都是在脑MRI研究中积极研究的。实验结果表明,作者的医疗变压器优于最先进的转移学习方法,有效地减少了参数的数量分类和回归任务的大约92%,97%,分割,仍然表现良好在场景中只有部分训练样本。
在这项工作中，作者提出了一个新的迁移学习框架，称为医疗变压器，有效地建模三维体积图像的形式的二维图像切片序列。为了使三维形体的高级表示更好地增强空间关系，作者采用了多视图方法，利用了来自三维体的三个平面的大量信息，同时提供了参数高效的训练。具体来说，将给定的三维体图像从3个平面(矢状面、冠状面、轴向面)分割成二维切片，并将这些二维切片作为输入输入网络。首先，作者预先训练了一个骨干网，该骨干网由一个卷积编码器和一个用于屏蔽编码向量预测的转换器组成，该转换器生成随机屏蔽图像的编码向量，作为作者的SSL代理任务。然后，经过预先训练的骨干网，将二维切片特征进行组合恢复为三维形式的表示，最后送入预测网络进行下游任务。为了验证作者的医疗变压器的有效性，作者在脑MRI研究中积极研究的脑疾病诊断、脑年龄预测和脑肿瘤分割三个目标任务上评估了作者的预训练模型。与各自最先进的(SOTA)模型相比，在所有三个任务中都取得了卓越的性能。
框架结构
提出的医疗变压器原理图
基于多视图方法，将给定的三维体图像从矢状面、冠状面、轴向面三个平面上分割成二维切片，并将这些二维切片作为输入输入到网络中。首先，在自监督学习方案中，作者预先训练了一个由卷积编码器和变压器组成的骨干网络。然后，经过预先训练的骨干网络，将二维切片特征进行组合恢复为三维形式的表示，最后输入到三个医学成像任务的预测网络中。
预处理训练卷积编码器的插图
微调阶段的说明
实验结果
可视化作者提出的医疗变压器和竞争方法之间的分割结果定性结果的比较。整个肿瘤(WT)类包括所有可见标记(绿色、蓝色和红色标记的联合)，肿瘤核心(TC)类为蓝色和红色的联合，增强肿瘤核心(ET)类为红色。
结论
在这项工作中，作者提出了一种新的迁移学习框架，称为医疗变压器，有效地建模三维体积图像的形式的二维图像切片序列。为了学习高水平的三维体表示，作者采用了一种多视图方法，利用了来自体图像的三个平面的大量信息，同时提供了高效的参数训练。由于对作者在脑疾病诊断、脑年龄预测和脑肿瘤分割任务上的预训练模型进行了评估，作者的Medical Transformer优于SOTA迁移学习方法，有效地减少了分类和回归任务的参数数量约92%，以及分割任务的97%。
论文链接：https://arxiv.org/pdf/2104.13633.pdf
每日坚持论文分享不易，如果喜欢我们的内容，希望可以推荐或者转发给周围的同学。