使用综合任务先验跨视图预训练可重用推理

现代预训练编码器使异构视图的表示越来越可重用，但仍然需要针对每个下游任务重新学习确定视图效用和组合证据的过程。因此，关于视图相关性、互补性、可靠性和缺失的知识被反复丢弃，而不是跨任务转移。因此，我们将多视图学习重新表述为学习可重用的、任务条件推理过程，而不是固定的融合函数。基于这个观点，我们提出了 SIMPLE，一种先验拟合的多视图上下文学习器，它通过调节小型标记支持集来预测查询标签。由于现有的现实世界数据集仅涵盖有限范围的视图配置和任务结构，因此我们在嵌入空间中先构建了一个可控的合成任务。它生成具有不同类结构、共享和特定于视图的因素、表示几何、跨视图依赖性、可靠性水平、缺失模式和分布变化的各种支持查询情节。然后，分层推理架构在视图内、跨视图以及跨支持和查询样本执行推理。多视图和多组学基准测试表明，SIMPLE 的冻结变体在不更新推理主干的情况下实现了具有竞争力的性能，而轻量级适配器校准在大多数评估数据集上获得了领先的性能。总之，冻结、一次性和缺失视图设置下的结果支持了一个中心假设，即多视图推理本身可以进行预训练和重用，而轻量级适配器校准在需要时提供特定于任务的对齐。