论文

ARISE:自适应Agentic推理与基于图像的自我评估,用于可解释的 IBD 评估

ARISE: Adaptive Agentic Reasoning with Image-grounded Self-Evaluation for Interpretable IBD Assessment

智能体系统Agent Harness

摘要

炎症性肠病 (IBD) 需要频繁的基于影像的评估,但对无线胶囊内窥镜 (WCE) 和肠道超声等模式的解释仍然严重依赖于专业知识。视觉语言模型 (VLM) 在多模态医学图像分析中表现出巨大的潜力,但其临床应用受到特定领域推理不足、容易产生幻觉、细粒度诊断中高质量训练数据稀缺以及可解释性有限等因素的阻碍。我们引入了 ARISE(基于图像的自我评估的自适应Agentic推理),这是一种自主规划框架,它将少样本医学图像理解建模为连续的Agentic工作流程。 ARISE 将智能体执行构建为透明的 5 阶段工作流程:假设生成、基于图像的证据总结、证据条件细化、符号验证和最终诊断。我们将 ARISE 用于两个独立患者队列的 IBD 评估:克罗恩病的无线胶囊内窥镜 (WCE) 图像和溃疡性结肠炎的 B 型超声数据。 ARISE 持续改进基线VLM的诊断性能,同时揭示推理成功或失败的地方,为临床决策支持和实际部署提供更可解释的基础。

ARISE:自适应Agentic推理与基于图像的自我评估,用于可解释的 IBD 评估的原论文方法或结果图
图 1:克罗恩病 WCE 病理与非病理图像分类的 ARISE 工作流程概述。工作流程从初始假设生成和来自选定示例的视觉线索的并行总结开始。首先使用视觉提示摘要更新初始假设,然后通过 SMT 求解器进行逻辑一致性检查。最终假设用于最终诊断阶段。