量化递归推理模型

递归推理模型通过在许多细化步骤中应用紧凑的、权重共享的块来解决难题。由于这些块被多次重复使用，因此对它们进行量化会产生一个独特的动态问题：每一步都会产生量化误差。虽然 8 位量化（整数或浮点）可以保持精度，但转向每个张量 4 位格式会导致系统偏差累积。随之而来的漂移灾难性地将数独的精确解精度从 84.1% 降低到 0.0%（只有约 25% 的单元格正确）。在这项工作中，我们表明这种崩溃是由激活缩放粒度而不是位宽或数字格式引起的。至关重要的是，转向按块缩放可以完全恢复过渡。为了实现这一点，我们将 MXInt4（一种块式整数激活格式）应用于递归推理模型。它在我们的任务中与块式浮点格式具有竞争力，同时保留整数元素和二次方块尺度。最后，递归深度和重用调节量化灵敏度，我们测试的最深架构（EqR 平衡模型）最敏感。然而，分块扩展克服了这个漏洞，在这些架构中保持稳健并转移到开放式 ARC-AGI 基准。