论文
DERM-3R:面向真实临床环境皮肤科诊疗的资源高效多模态Agent框架
DERM-3R: A Resource-Efficient Multimodal Agents Framework for Dermatologic Diagnosis and Treatment in Real-World Clinical Settings
摘要
皮肤病带来巨大且不断增长的全球负担,影响数十亿人并显著降低生活质量。虽然现代疗法能快速控制急性症状,但长期结局常受限于单靶点范式、反复病程以及对系统性共病关注不足。中医通过辨证论治和个体化治疗提供互补的整体方法,但其实践受制于知识非标准化、多模态记录不完整以及专家推理可扩展性差。我们提出DERM-3R,一个资源高效的多模态Agent框架,在有限数据和算力下建模中医皮肤病诊疗。基于真实工作流,我们将决策重构为三个核心问题:细粒度皮损识别、带专科级病机建模的多视角皮损表示,以及用于辨证和治疗规划的整体推理。DERM-3R由三个协作Agent组成:DERM-Rec、DERM-Rep和DERM-Reason,各针对该流程的一个环节。该框架构建于轻量多模态LLM之上,并在103个真实世界中医银屑病病例上部分微调,在皮肤病推理任务上表现强劲。使用自动指标、LLM-as-a-judge和医师评估的评测表明,尽管数据和参数更新极少,DERM-3R达到或超越大型通用多模态模型。这些结果表明,结构化、领域感知的多Agent建模可以成为皮肤病学和中西医结合领域复杂临床任务中暴力扩展的实用替代方案。