证据树：有效的“系统 2”搜索忠实的多模态证据关联

大型多模式模型 (LMM) 在医疗保健等高风险领域实现了最先进的性能，但其推理仍然不透明。当前的可解释性方法，例如注意力机制或事后显着性，通常无法忠实地表示模型的决策过程，特别是在集成时间序列和文本等异构模式时。我们引入了证据树（ToE），这是一种推理时间搜索算法，它将可解​​释性构建为离散优化问题。 ToE 不依赖软注意力权重，而是采用轻量级证据瓶颈，对粗略的数据组或单元（例如生命体征窗口、报告句子）进行评分，并执行波束搜索来识别重现模型预测所需的紧凑证据集。我们评估了跨越三个数据集和两个领域的六个任务的 ToE：MIMIC-IV 上的四个临床预测任务、eICU 上的跨中心验证以及 LEMMA-RCA 上的非临床故障检测。 ToE 生成可审计的证据轨迹，同时保持预测性能，在所有设置中保留超过 0.98 的全模型 AUROC，而证据单元只有 5 个。在证据预算稀疏的情况下，ToE 比其他方法实现了更高的决策一致性和更低的概率保真度错误。定性分析表明，ToE 调整了其搜索策略：它通常仅使用生命体征来解决简单的案例，同时在生理信号不明确时选择性地合并文本。因此，ToE 通过揭示哪些离散证据单元支持每个预测，提供了一种审计多模态模型的实用机制。