计算病理学中全模态幻灯片表示学习的协同信息解缠

在计算病理学 (CPath) 中，开发集成组织学、基因组学和临床报告的全模式自监督学习 (SSL) 模型，可以实现整个幻灯片图像 (WSI) 的可转移表示学习。现有方法通过对比对齐隐式地将异质模态强制进入统一的潜在空间，从而导致模态崩溃，其中独特的协同诊断信号（称为 $\mathrmΦ$）被丢弃以支持琐碎的冗余。我们假设最强的与任务无关的 SSL 训练信号源自于仅仅调整共享冗余而提炼出协同相互作用。为此，我们引入了 \textsc{$\mathrmΦ$-Omni}，这是一种基于用于幻灯片表示学习的部分信息分解（PID）理论的协同信息解缠框架。与标准对比方法不同， \textsc{$\mathrmΦ$-Omni} 采用由拟议的 $\mathrmΦ\text{ID}$ 目标调节的协同信息瓶颈（SIB），该目标明确抑制边际冗余，同时最大化不可约协同作用，从而提炼高阶跨模态相互作用。在对乳房 ($n$=1031) 和肺部 ($n$=919) 队列进行预训练后，与监督基线和 SSL 基线相比，\textsc{$\mathrmΦ$-Omni} 在跨越八项任务的五个独立外部数据集上表现出了优异的少数样本性能。源代码可在此处获取。