论文
IRIS：通过主题树和场景驱动的 VQA 生成来治疗眼表疾病的智能视觉语言系统
IRIS: An Intelligent Vision-Language System for Ocular Surface Diseases via Topic Tree and Scene-Driven VQA Generation
摘要
虽然大型视觉语言模型 (VLM) 表现出卓越的通用能力，但它们在眼表疾病 (OSD) 等专门领域的临床推理却因缺乏高保真、多模式指令调整数据而受到严重阻碍。为了消除这一数据瓶颈，我们引入了 IRIS，这是一种智能识别和交互系统，专为通过外眼摄影进行细粒度 OSD 理解而定制。首先，我们整理了 IRIS-120K，这是迄今为止最大、最全面的 OSD 视觉问答 (VQA) 数据集。至关重要的是，为了克服传统图像与描述配对的语义浅度，我们提出了一种协同数据生成范例来明确注入临床先验。我们的数据引擎通过双分支框架运行：1）主题查找树（TFT），将视觉特征分层锚定到精确的解剖和病理概念，执行严格的医学推论逻辑； 2）场景驱动的策略，综合角色自适应的临床对话以确保务实的概括。通过在这个结构丰富的语料库上明确对齐紧凑的 4B 参数 VLM，IRIS 实现了最先进的性能，全面优于具有高达 34B 参数的通用和专业医学 VLM。我们的研究结果强调，结构化知识注入远远胜过单纯的参数扩展，释放了在移动边缘设备上进行资源高效、专家级人工智能部署以实现可扩展 OSD 筛选的潜力。代码、数据集和模型权重将由该存储库公开发布。