医学图像理解通过视觉指令调整提高生存预测

准确的预测和风险评估对于指导临床决策和优化患者管理至关重要。虽然放射科医生评估的 CT 扫描特征提供了疾病严重程度和结果的宝贵指标，但解释此类图像需要专业知识，而将丰富的视觉信息转化为文本摘要不可避免地会导致信息丢失。在这项工作中，我们提出了一种用于 3D CT 图像理解的视觉语言框架，该框架通过视觉指令调整利用大规模开源 CT 图像与放射学报告配对。该 预训练 使模型能够学习有临床意义的视觉文本表示，然后可以适应下游生存预测任务。通过在预训练模型之上结合生存预测头，我们的方法改进了 CT 图像和临床数据的生存预测，同时针对预定义的问题生成有临床意义的语言响应。实验结果表明，我们的方法在生存预测方面优于基线方法，特别是当仅凭临床数据预测性较差时。该代码将在接受后发布。