Transformer推理中的确立潜空间算法路由的依据

情境学习文献中的一个核心问题是 Transformer 是否可以围绕不同的归纳偏差族组织情节级别的适应。我们通过潜在算法路由在受控环境中研究这个问题：类似路由的行为，其中求解器家族偏好随着潜在数据生成机制而变化，而提示形式保持固定，在令人讨厌的扰动下保持稳定，并且选择性地受到有针对性的激活干预的影响，而不会造成答案质量的重大损失。我们引入了 ROUTEBENCH，一种诊断基准，其机制有利于全局收缩、稀疏性、鲁棒性和局部性，由类岭、类套索、类 Huber 和类 kNN 家族代表来操作。在 44M-612M 参数下从头开始训练的仅密集解码器 Transformer 中，306M 模型缩小了 80.9% 的预言机路由差距，并实现了 84.1 的路由 F1。在自然语言渲染、混洗支持、词汇释义和统一的四路路由设置下，效果仍然很显着。更强的自适应替代方案，包括输入条件软混合物和无监督 Gumbel 路由器，缩小了差距，但在路线 F1 和 OOD 性能方面仍低于 306M 和 612M 模型。探针控制和匹配的激活修补控制进一步表明，与路线相关的内部方向是可解码的，并且在功能上涉及解算器系列一致的输出行为。这些结果提供了受控证据，表明在 ROUTEBENCH 上训练的密集 Transformer 可以开发类似路由的内部变量，但它们不能在预训练语言模型或不受限制的自然语言推理中建立通用路由。