论文
YANchor-4B：线性时间、常量状态的长程推理语言模型
YANchor-4B: Effective Long-Horizon Reasoning in O(N) Time with O(1) Memory
摘要
长期推理需要以可管理的生成成本访问早期信息。全历史注意力会导致存储和计算不断增长，而循环压缩可能会丢失精确的细节。因此，我们提出了 YANchor-4B，这是一种通用的循环模型，它将关键的记忆保留为 ANchors，以便在后续推理过程中进行检索。除了 $O(N)$ 时间生成和 $O(1)$ 内存之外，YANchor 通过其多维内存机制实现有效的长视野推理。例如，在具有挑战性的数学问题上，它在 AIME 2024--2026 上达到了 82.93% 的平均 pass@1 成绩，在 HMMT 上达到了 63.64% 的成绩，大大优于线性时间、恒定状态的对应模型，包括较大的模型。它还提供比 H100 上的 Transformer 和混合基线高几倍的批量长代吞吐量。此外，数十个基准测试的评估证明了YANchor在通用能力方面的优势。
