RepICL：跨异构表示空间的可重用上下文预测

冻结表示被广泛重用于下游分类，但每个新任务通常都需要拟合新的预测器。我们询问少样本预测过程本身是否可以学习一次并在数据集和表示空间中重复使用。为了研究这个问题，我们引入了 RepShiftBench，它包含 1,218 个跨文本、图像和音频的编码器数据集任务，并对未见数据集、未见编码器、联合未见数据集和编码器以及未见模态的泛化进行单独评估。该基准暴露了一个巨大的差距：在每个情节上独立拟合的逻辑回归在所有设置中都优于每个评估的上下文学习器。我们引入了 RepICL，这是一种经过元训练的上下文学习器，可在预测前通过情景白化来规范化每个情景。其归纳变体 RepICL-I 在所有 12 个基准设置中都超过了逻辑回归，而 RepICL-T 则大大优于现有的转导方法。 消融认为间歇性美白是这些增益的主要来源，同时表明它不是普遍有益的预处理步骤。在这两个变体中，收益集中在简单支持原型支持错误类或在真实类和竞争类之间几乎没有分离的查询上。当有限的支持范围给出了阶级分离的误导性观点时，转导提供了最大的额外收益。总之，这些结果表明，共享的少样本预测过程可以推广到训练期间观察到的表示空间之外。