MedImageOSWorld：医疗图像控制台 GUI 智能体基准测试

图形控制台为医疗采集辅助提供了实用的界面，允许智能体通过人类操作员使用的控件和视觉反馈进行工作。可靠的帮助需要将屏幕上的解剖结构与采集决策联系起来，从而确定接下来可以获得哪些图像证据。我们引入了 MedImageOSWorld，这是一个用于评估模拟 CT、MR 和超声控制台中的此功能的基准。使用屏幕截图和鼠标和键盘操作，智能体配置协议、计划采集、检查生成的图像，并在从控制台操作到反馈驱动控制的七个功能级别上进行纠正调整。评估将特定于任务的工作流程检查与隐藏的解剖基础事实相结合，以分别评估程序完成和采集结果。通用评估协议指定事件条件和交互预算，而记录的轨迹支持对智能体如何观察、行动和响应采集反馈的分析。在 11 个开放权重智能体中，成功率范围为 0-100 的 3.0 到 25.0，而工作流程进度达到 21.5-74.5：智能体完成了大部分控制台工作流程，但很少获得预期的解剖结构。感知和规划之间的成功率会崩溃，从最佳智能体最低三个级别的 79-90%，到毫米级规划的最多 12%，以及开放权重智能体闭环控制的 0%。两台专有的智能体的成功率约为 34，并且主要在采集质量方面超过了最好的开放权重智能体（61 比 42）。 MedImageOSWorld 提供了一个受控环境，用于研究通用 GUI 智能体是否可以将视觉观察转化为有效的医疗采集决策。