论文

用于 CT 扫描中可靠且可审核的空间关系验证的模块化代理

A Modular Agent for Reliable and Auditable Spatial Relation Verification in CT Scans

智能体系统Agent 架构与控制循环

摘要

可靠的空间理解是未来医学视觉语言系统的重要先决条件,旨在支持放射学报告生成和结构化图像理解。虽然现代视觉语言模型(VLM)在许多医学成像任务中表现出良好的性能,但最近的证据表明它们在受控空间推理方面仍然薄弱,并且常常无法可靠地确定图像证据中的空间关系。鉴于放射学推理取决于对解剖结构和发现的相对位置的理解,这种空间弱点对诊断准确性造成了风险。我们提出了一种模块化医学成像代理,用于轴向 CT 切片中的二元空间关系验证。该系统不是直接端到端预测空间答案,而是将任务分解为明确的阶段:语言解析、解剖定位和确定性几何验证。自然语言查询被转换为结构化关系元组,查询的器官使用基于 YOLO 的检测器进行定位,最后的空间决策是使用确定性几何规则从对象中心计算出来的。我们在 MIRP 空间 QA 基准上评估该方法,并将其与代表性的端到端 VLM 基线进行比较。性能最佳的混合配置达到 94.1% 的准确度和 94.2% F1,比直接 Qwen2-VL 提示的准确度高出 42.5 个百分点,同时保留可解释的中间表示和可审核的推理阶段。结果表明,显式模块化空间验证可以作为未来面向报告的医学成像剂的有前途的构建模块。