OncoTriad-QA：泛癌症推理的患者级放射学-病理学-基因组学基准

癌症诊断和表征需要整合来自放射学、病理学、基因组学和临床元数据的补充证据。然而，大多数医学 大语言模型 (LLM) 和视觉语言模型 (VLM) 基准侧重于孤立的模式或狭窄的图像文本任务，使得跨多个证据流的患者级肿瘤学评估在很大程度上未经测试。我们推出 OncoTriad-QA，这是一种用于泛癌症问答的患者级放射学-病理学-基因组学基准。 OncoTriad-QA 包含来自 32 个癌症队列的 9,281 例 TCGA 患者病例的 86.1k 个语义问题，对齐 CT/MRI 放射学、全幻灯片组织病理学、体细胞突变、拷贝数改变、DNA 甲基化、批量 RNA 测序和临床元数据。通过基于源的 LLM 辅助管道构建特定病例的注释，使用精选标签、诊断报告、分子概况和模态衍生证据作为主要事实来源，并进行自动一致性检查和临床医生审查。我们还引入了 OncoVLM，这是一种参考多模态模型，可通过学习投影仪将模态原生放射学、病理学、DNA 甲基化和 RNA-seq 证据映射到 LLM 界面中。实验表明，现有的通用和医学 LLM 在全面的泛癌 QA 方面仍然有限，特别是当问题需要整合影像学发现、肿瘤形态和分子证据时。在 OncoTriad-QA 上进行 微调 后，使用 MCQ 准确性和 BERTScore-F1 时，OncoVLM 平均超过 MedGemma-4B 10.7 分，并且在仅放射学、仅病理学和所有可用设置下的多项选择和开放式问题中获得一致的增益。这些结果证明了该基准对于训练和评估综合癌症问答模型的价值。