论文
使用 LoRA 进行跨上下文视觉语言适应，用于临床伤口监测中的个性化严重不良事件检测
Cross-Contextual Vision-Language Adaptation with LoRA for Personalized Severe Adverse Event Detection in Clinical Wound Monitoring
摘要
伤口监测是一项关键但服务不足的临床挑战，及时识别感染、组织恶化和愈合延迟等严重不良事件 (SAE) 可能会显着影响患者的治疗效果。虽然视觉语言模型 (VLM) 显示出强大的多模态推理能力，但它们通常缺乏特定领域的基础来将伤口图像与异质临床信息整合起来，并且提供有限的机制来检测偏离训练分布的病例。我们提出了一个用于自动伤口监测和 SAE 检测的多模式框架。我们的方法利用配对的临床记录和伤口描述来捕获视觉特征，例如外观、周围皮肤状况、颜色变化以及炎症或愈合进展的迹象，并通过构建在冷冻 BiomedCLIP 主干上的双流低秩适应 (LoRA) 框架进行编码。我们引入了一种跨上下文 LoRA 融合机制，可实现临床语义和视觉伤口描述符之间的信息交换，无需完整模型 微调 即可生成上下文感知的多模态表示。为了识别个性化 SAE，我们提出了一种伤口特定的分布外 (OOD) 检测框架，将语义匹配、视觉典型性、图像描述与文本对齐和图像描述与视觉对齐组合成统一的 SAE (OOD) 评分。为了捕捉愈合动态，我们结合了协变量一致性和时间漂移惩罚，利用了就诊期间伤口特征的变化。对通过临床访问收集的纵向伤口数据集进行的实验表明，在伤口愈合评估和 SAE 检测方面都有良好的表现，凸显了语义丰富、时间感知的视觉语言系统在临床伤口监测和早期风险识别方面的潜力。