大多数 Transformer 修改仍然无法在 1-3B 处转移：Narang 等人的 2020-2026 更新。 (2021) 具有下游评估和本底噪声

纳朗等人。 (2021) 在 T5 基础规模上评估了 40 多个 Transformer 修改，并得出结论，大多数没有转移。五年后，典型的工作机制已转向 1-3B 参数，下游评估取代了训练前的困惑，并且出现了截然不同的修改目录。我们通过在严格的 iso 数据、iso 计算、iso 配方控制下测试 20 20 年后的 1.2B 和 3B Transformer 修改来重新审视他们的问题，并以多种子基线本底噪声和 CLIMB-12 下游评估作为主要指标。核心发现在这个精心策划的集合中重现了他们的发现：大多数修改不会转移。在 20 项修改中，只有 2 项在 1.2B 处有明确的 Bonferroni 修正；其中两人中的一人未能在共享配方下稳定地进行 3B 训练。我们还发现 Tay 等人报告的下游损失差距。 (2023) 将注意力输出修改放大了几倍：两个重大失败收敛到基线验证损失的 2-3% 以内，但下降了 6-16 个 CLIMB 点。我们得出的结论是，本底噪声报告、下游评估和跨尺度稳定性测试现在是 1-3B 架构比较的先决条件。