论文

PathNavigate:无需训练 病理学代理,具有惊喜引导扫描和共享载玻片记忆,用于全载玻片图像 VQA

PathNavigate: A Training-Free Pathology Agent with Surprise-Guided Scan and Shared Slide Memory for Whole-Slide Image VQA

智能体系统Agent 架构与控制循环

摘要

全幻灯片图像视觉问答 (WSI-VQA) 将病理学视为极端上下文搜索问题:为了回答自由形式的临床查询,系统必须首先在严格的检查预算下导航十亿像素幻灯片,以找到稀疏的高分辨率证据。现有方法主要分为两种范式:i)监督病理多模态 大语言模型(MLLM)和代理可以将本地化和推理吸收到学习模块中,但它们经常将导航与特定任务的监督和再训练结合起来,限制了它们的实用性; ii) 无需训练 病理代理通过保持核心模型冻结来避免这种成本,但通常遵循问题优先设计,主要根据查询条件相关性构建初始候选集。这可能会错过问题中未提及的决定性形态,并强制使用更重的推理时间脚手架。为了应对这一挑战,我们引入了 PathNavigate,这是一种围绕扫描-搜索-读出例程构建的 无需训练 病理学代理。在问题匹配之前,PathNavigate 使用共享在线内存模块在冷冻病理学特征上以低放大倍数扫描当前载玻片,产生一个载玻片特定的惊喜字段,标记异常区域池。然后,它仅在该池内应用问题条件 PLIP 相关性来选择高倍率搜索目标。最后,它使用与幻灯片级别上下文相同的在线内存,提取本地高倍率证据并通过冻结的感知器-裁决器堆栈进行回答。 WSI-VQA 和 SlideBench-BCNB 上的实验表明,所提出的扫描搜索读出设计提高了答案准确性,并以更高的效率产生更多可解释的证据选择轨迹。该代码可在线获取。