论文

SliceWorld:用于生成 CT 报告的预测和可控世界状态模型

SliceWorld: A Predictive and Controllable World-State Model for CT Report Generation

模型训练预训练

摘要

CT 报告生成 (CTRG) 需要模型总结来自数百个轴向切片的三维解剖背景和病理结果。现有方法通常学习直接的图像到文本映射,为建模 CT 证据如何跨切片演变或报告如何响应潜在病变相关因素的受控变化提供有限的机制。我们提出了 SliceWorld,这是一个特定于 CT 的世界状态框架,它将轴向 CT 扫描视为沿 z 轴的有序序列。 SliceWorld 将前缀 CT 证据编码为包含解剖、病变和不确定性成分的因子感知潜在状态,并将这些状态投影到用于多步骤未来切片特征预测、病变因子干预和基于 LLM 的报告生成的世界词元中。该模型首先在具有预测、因素感知和反事实目标的 CT 切片序列上进行预训练,然后根据配对 CT 报告数据进行微调。 M3D-Cap 和 CT-RATE 上的实验表明,SliceWorld 改进了自然语言生成指标和面向临床的自动评估。进一步的分析证明了多视野未来切片预测、可测量因素对齐、降低切片稳健性和选择性病变敏感报告调制。