论文

CCS:放射学报告生成的临床共识选择

CCS: Clinical Consensus Selection for Radiology Report Generation

模型推理推理验证与自校正

摘要

放射学报告生成 (RRG) 通常被表述为单路径生成任务,其中多模式 大语言模型 (MLLM) 生成一个解码报告作为最终输出。虽然最近的进展主要是由扩展训练数据、模型容量和检索机制推动的,但提高推理时的报告质量仍有待探索。在这项工作中,我们观察到固定放射学 MLLM 通常会在其候选池中的其他位置生成比默认解码选择的报告更强的临床报告,这表明推理时间决策仍然是一个被忽视的瓶颈。为了解决这个问题,我们提出了临床共识选择(CCS),这是一种与解码器无关的推理时间选择框架,可以对多个候选报告进行采样,并选择在整个轨迹采样池中具有最高临床共识的报告。 CCS 将基于文本的实用程序与由图像报告训练的多模态嵌入器计算的放射学适应实用程序相结合,该嵌入器可测量超出表面水平文本相似性的候选一致性。在三个数据集和多个放射学 MLLM 中,CCS 持续改进了单路径解码和通用 Best-of-N 基线的推理时间性能,在临床指标方面的收益尤其明显。进一步的分析表明,基于图像的效用形成了一个与文本共识不同的选择轴,并且在推理时仍然有很大的空间来改进 RRG。