HounsWorld：用于隐藏患者状态读出、重建和模拟的多模态世界模型

临床智能需要根据不完整的观察来估计患者的基本状况，而不是学习从扫描到答案的孤立映射。体积医学图像提供对解剖结构、衰减和病变的密集观察，而临床语言提供稀疏但互补的语义观察。我们将以 CT 为中心的智能表述为对共享潜在患者状态的推断，在这种情况下，读出、重建和模拟都成为状态相关的预测问题。为了具体化这一观点，我们引入了 HounsBench，一个以计算机断层扫描 (CT) 为中心的患者状态基准，它将这三个任务系列与患者不相交的分割和每个系列的指标统一起来；以及 HounsWorld，一个 3B 多模态世界模型，通过联合理解生成学习将体积扫描和语言视为对共享状态的观察。共享的 Transformer 形成隐式患者状态估计并支持三种输出：读出状态的查询条件答案、用语言重建状态的报告和说明文字、用于低剂量去噪的特定条件 CT 体积、虚拟对比度增强以及解剖学约束的文本和掩模到体积生成。零初始化的 CT 适配器保留预先训练的多模态映射，而条件显式的 Hounsfield 单位窗口采样则暴露有临床意义的密度观察结果。 HounsWorld 在所有三个任务系列中都表现出强劲的性能，同时通过临床结构化的完成不断提高 CT 理解。我们的项目位于 https://github.com/byhwhite/HounsWorld.git