表征学习中协变量依赖与潜在结构之间的权衡

解开表示学习寻求潜在表示，其各个维度均与不同的协变量对齐。无监督方法通常针对潜在维度独立性，但这不能保证结果维度与语义上有意义的协变量一致。监督方法使用观察到的协变量构建潜在空间，但在相关协变量下，它们无法同时控制一对一的潜在协变量对齐和潜在独立性。我们引入了一个统一的、有监督的框架，它将潜在维度协变量依赖性与潜在结构的约束结合起来。在这个框架内，我们展示了一种固有的权衡，其中强制执行潜在独立性或排他的一对一潜在协变量依赖性是以潜在协变量对齐的可证明成本为代价的。我们证明，由此产生的解开体系是按照这种排列的强度排序的。每个政权都承认潜在空间的封闭形式变换。我们事后应用这些转换来重新调整预训练模型（例如 CLIP、DINOv2 和 ViT）的表示，并将它们折叠到知情因子分析 (iFA) 的推理中，iFA 是一种具有协变量知情因子的概率模型。在模拟和真实的多组学数据上，我们表明事后对齐和 iFA 都可以实现结构化潜在表示的可控性。