DermAgent：用于皮肤病学图像分析的自反射代理系统，具有多工具推理和可追踪决策功能

皮肤病诊断需要将细粒度的视觉感知与专业的临床知识相结合。尽管多模态 大语言模型 (MLLM) 有助于交互式医学图像分析，但其在皮肤病学中的应用却因特定领域基础不足和幻觉而受到阻碍。为了解决这些问题，我们提出了 DermAgent，这是一种协作式多工具代理，可在计划-执行-反映框架内编排七个专门的视觉和语言模块。 DermAgent 通过三个核心组件提供逐步、可追踪的诊断推理。首先，它采用互补的视觉感知工具进行全面的形态描述、皮肤镜概念注释和疾病诊断。其次，为了克服领域先验的缺乏，双模态检索模块通过交叉引用 413,210 个诊断图像病例和 3,199 个临床指南块，将每个预测锚定在外部证据中。为了进一步减轻幻觉，确定性批评模块通过置信度、覆盖范围和冲突门进行严格的事后审计，自动检测源间分歧以触发有针对性的自我纠正。对五个皮肤病学基准的广泛实验表明，DermAgent 在零样本细粒度疾病诊断、概念注释和临床字幕任务中始终优于最先进的 MLLM 和医疗代理基线，在皮肤疾病诊断准确性方面超过 GPT-4o 17.6%，在字幕 ROUGE-L 方面超过 GPT-4o 3.15%。我们的代码可在 https://github.com/YizeezLiu/DermAgent 获取。