HSQ-VLM：一种新型空间约束象限分割 VLM 模型，用于解释糖尿病视网膜病变

糖尿病视网膜病变（DR）是一种侵袭性视网膜疾病，也是全球失明的主要原因，但其临床管理目前受到诊断人工智能的黑箱性质的阻碍。虽然深度学习模型实现了很高的分类精度，但严重缺乏能够详细说明导致 DR 临床决策的确切解剖标志和病变分布的可解释性方法。因此，我们提出了 HSQ-VLM，这是一种针对眼底图像的新型象限分割流程，它利用地标锚定笛卡尔交叉注意机制将视觉特征提取与结构化临床推理统一起来。与依赖任意图像分区的传统方法不同，我们的流程实现了 4 象限拓扑潜在分区 (TLP)，以动态地将视网膜特征与以中央凹为中心的坐标系对齐。这使得视觉语言模型能够生成自然语言报告，以解剖学精度量化病理学。在 3,500 张高分辨率眼底图像的数据集上，这种创新方法对出血的病变检测灵敏度达到 99.6%，对微动脉瘤的病变检测灵敏度达到 96.4%，同时与标准分割基线相比，边界模糊误差显着减少。