TomoTransformer：迈向 CT 重建的基础模型

监督深度学习具有先进的稀疏视图断层扫描重建功能。然而，传统模型通常将滤波后投影 (FBP) 图像或正弦图映射到清晰的重建，在分布变化的情况下很脆弱。由于每当投影计数和角度、探测器分辨率或数据分布发生变化时，它们都需要重新训练，因此它们在实际应用中的部署仍然受到限制。为了解决这个问题，我们引入了 TomoTransformer，一种基于转换器的架构，它将每个 local 过滤投影视为一个单独的标记，并通过自注意力来预测丢失的视图。至关重要的是，TomoTransformer 在 反投影空间 中运行，该空间将空间位置上的投影分开，从而使视图插值在几何上处于良好状态并且不受探测器尺寸的影响。这种设计产生了一个单一的基础模型，可以在任意角度位置和探测器尺寸处处理任意数量的输入投影，并查询任意数量的目标角度而无需重新训练。 TomoTransformer 在涵盖不同医学 CT 解剖结构和自然图像的大规模数据集上进行训练，可以有效地概括解剖结构、材料和分辨率。对几个基准稀疏视图数据集的广泛评估表明，TomoTransformer 显着优于 ViewTrans 等并发多用途模型，并匹配或超过强大的特定于协议的基线，同时保持对输入和目标投影的数量完全不可知。此外，该模型对从 X 射线同步加速器收集的真实实验纳米级大脑数据展示了稳健的零样本泛化，展示了其在现实世界应用中的实用性。