论文
共享编码器不是共享任务:深度专家池的条件比较
A Shared Encoder Is Not a Shared Task: Conditional Comparison for Deep Expert Pools
摘要
共享深度编码器本身并不能解决任务比较分数的核心问题。我们表明,冻结共享表示上的交叉评估头继承了浅层交换分数的外推混淆:具有固定标签的纯输入旋转将深度交换分数从大约 0 膨胀到 0.80,而表示新颖性分数在互补方向上是盲目的(在完全改变任务的标签排列下平坦)。将条件双判别器差异移植到嵌入空间中可以解决两个盲点:功能轴在旋转下保持在 +-0.001 范围内,并单调跟踪标签排列漂移质量。两轴门内置于混合头生命周期中,在匹配的训练预算下,与交换或新颖触发器相比,可以用更少的头获得更好的决策质量。在广义类别发现中,相同的块级功能轴将语义新颖性与光度变化分开,AUROC 0.98-0.99,其中每个输入 OOD 分数(MSP、Energy、Mahalanobis、KNN)几乎有机会进行这种区分。所有发现都在 CIFAR-100 上的冻结 ImageNet-21k ViT-B/16 和自监督 DINOv2 主干上复制,并扩展到具有重复性的剩余适配器池,其中零校准的新奇触发器永远不会触发机制变化,而两轴门通过完全重复性重用来处理它们。我们明确地陈述了嵌入空间结论转移到原始机制的公因式条件。