论文

PhyDiCT:以物理约束和扩散先验从稀疏X光重建CT

PhyDiCT: Plug-and-Play CT Reconstruction from Sparse X-Rays via Differentiable Rendering and Strong Priors

应用与实践模型推理推理验证与自校正内容创作行业应用

摘要

由于体积信息的丢失,从一些 X 射线投影重建 3D 计算机断层扫描 (CT) 图像是一个高度不适定的逆问题。我们提出了 PhyDiCT,这是一个免训练框架,集成了基于比尔-朗伯定律的可微分物理正向模型,以及文本条件扩散作为重建 3D 肺部 CT 图像的强先验。我们将我们的方法称为免训练,因为使用先前的模型而无需微调,我们的目标是引导去噪程序生成与 X 射线观测结果一致的样本。我们使用分割吉布斯采样来指导扩散生成,以共同优化投影保真度(奖励)以及与先验知识的一致性。此外,我们还引入了一个测试时细化步骤,可以增强图像真实感和解剖一致性。我们使用感知和语义指标在公开可用的 3D CT 数据集上广泛评估我们的方法,证明它超越了现有的即插即用扩散和经过充分训练的重建方法。我们的研究结果强调,将强大的生成先验与图像形成的基础物理相结合可以显着提高重建质量,例如,与完整的训练方法相比,SSIM 提高了 7.5%。代码将在https://github.com/batmanlab/PhyDiCT。发布

PhyDiCT:以物理约束和扩散先验从稀疏X光重建CT:论文原图
图 1:(a):降噪器阶段 1。文本提示 cc(带有 <CLS> 和 <SEP> 标记的结果和印象标记)条件图像 (x^0)0(\widehat{x}_{0})_{0} 的迭代生成,稍后用于阶段 2。(b):可微分 X 射线渲染。真实世界的设置,其中多个 X 射线(每个 ω\omega 从同一 ss 开始,在探测器上的多个 pp 结束)用于获取接收器平面上的一个完整 yy。 (c):奖励引导重建概述。阴影表示 (x^0)t(\widehat{x}_{0})_{t} 的分布包络线,其随着接近 p⁡(x|y)p(x|y) 而收缩。首先应用降噪器 FtF_{t} 将噪声样本 xtx_{t}(位于流形外部)移向干净的数据分布 p⁡(x|c)p(x|c)。随后的似然步骤将预测的 (x^0)t(\widehat{x}_{0})_{t} 转移到由奖励函数引导的新变量 ztz_{t} (可能位于外部),以使其更接近后验空间 p⁡(x|y)p(x|y)。