ABRA：放射学应用的代理基准

现有的医疗代理基准将成像作为预先选择的样本提供，而不是作为代理必须导航的环境。我们引入了 ABRA，这是一种放射学代理基准测试，其中代理通过 21 个涵盖切片导航、窗口、系列选择、像素坐标注释和结构化报告的函数调用工具来操作 OHIF 查看器和 Orthanc DICOM 服务器。 ABRA 包含 655 个以编程方式生成的任务，涵盖三个难度级别和八种类型（查看器控制、元数据 QA、视觉探测、注释、纵向比较、BI-RADS 报告以及注释和 BI-RADS 报告的 Oracle 变体），这些任务取自 LIDC-IDRI、杜克乳腺癌 MRI 和 NLST 新病变 LongCT。每个情节均由特定于任务类型的自动评分器根据规划、执行和结果（Bluethgen 等人，2025）进行评分。目前有 10 个模型，其中 5 个是封闭权重模型，5 个是开放权重模型，在真实注释上至少达到 89% 的执行率，但只有 0-25% 的结果；在模拟检测器提供结果的配对预言机变体中，同一任务的结果在评估的模型中达到 69-100%，将瓶颈定位于感知而不是工具编排。代码、任务生成器和评分器发布于 https://github.com/Luab/ABRA