论文

AURORA:医疗保健基础模型中几何表示学习的上下文正交化

AURORA: Contextual Orthogonalization for Geometric Representation Learning in Healthcare Foundation Models

模型训练预训练

摘要

最近的医疗保健基础模型通过大规模自我监督学习实现了强大的预测性能,但它们的潜在表示经常将生理严重性、干预强度、观察结构和机构工作流程与共享嵌入方向纠缠在一起。虽然对下游预测有效,但这种表示在上下文转换下仍然在语义上不透明且不稳定。我们介绍 AURORA,通过正交关系对齐的自适应不确定性感知表示,这是一种基于上下文潜在几何的医疗保健表示学习的新框架。 AURORA 不是优化单个统一的嵌入流形,而是将表示分解为与不同上下文因素相对应的正交语义子空间,并学习每个子空间内的关系一致性目标。这产生了语义上解开且几何上可解释的潜在空间。在多个临床预测和检索任务中,AURORA 始终优于重建、对比和自我 蒸馏 基线,同时显着提高了机构分布转移下的上下文解理、邻域纯度和鲁棒性。我们的结果表明,潜在几何本身构成了医疗保健基础模型设计的重要轴,并且根据上下文语义显式构建表示空间提供了超越传统预测压缩目标的补充方向。