SAGE：专家注释的南亚胃肠道内窥镜数据集，用于多模式学习和幻觉分析

胃肠癌是南亚地区日益严重的健康负担，这主要是由于社会经济条件和生活习惯的快速变化造成的。然而，早期诊断仍然受到设备不足、财政资源和胃肠道专业知识匮乏的限制。人工智能辅助诊断和报告生成通过为非专业医护人员提供执行诊断的技术专业知识，在缓解这一问题方面显示出巨大的前景。然而，几乎所有开源、公开的数据集主要是从欧洲地区收集的，南亚地区的代表性极少。由于缺乏来自不同地理区域的开源 GI 数据集，因此很难评估现有模型中是否存在人口偏差，也很难开发用于自动化 GI 诊断的地理包容性 AI 工具。为了解决这一差距，我们引入了 SAGE：专家注释的南亚 GI 内窥镜数据集，用于多模态学习和幻觉分析，用于图像描述、多标签分类和 VQA 任务。它由 1,300 张图像、图像描述以及幻觉标签、18 个标签和 14,276 个问答对组成，非常适合各种任务，包括分类、基准测试和 微调 LMM。我们进一步对特定任务模型（例如多类分类器）对人口迁移的影响进行了基准测试，结果表明此类模型受到的影响最大，在南亚数据集上平均 F1 分数下降了 54 分。此外，当代 LMM 的基准测试显示，解剖标志检测 (0.308) 和异常检测 (0.410) 的平均 GREEN 分数大幅下降。我们在 CC BY-SA 4.0 许可下开源我们的数据集，我们希望鼓励其他人为更具包容性的数据集表示做出贡献，并帮助抵消医疗人工智能中的群体偏见。