模块化 TTT：重新思考测试时训练作为可组合模块

测试时训练 (TTT) 将序列建模视为在线学习问题，其中快速权重由内部学习规则更新。尽管 TTT 变体的数量不断增加，但现有方法通常单独对每个变体进行硬编码，这使得设计新的 TTT 方法和隔离每个组件的角色变得困难。为了解决这个问题，我们提出了模块化 TTT，这是一个将内部学习器表示为有向无环图的框架，并将快速权重网络、损失函数、学习率、权重衰减和归一化作为显式设计维度公开。模块化 TTT 自动将原始级训练视图前向、训练视图后向和因果查询视图规则组合到完整的图级 TTT 计算中，包括快速权重状态转换。使用模块化 TTT，我们系统地消除了 TTT 的组成部分，发现小学习率初始化、权重衰减和单层非线性可以提高性能，而 MSE 和内积损失的表现类似。更深的快速权重网络和标准化往往会损害性能，因为它们会引起过大的激活，而残余连接和门控则几乎没有提供可测量的好处。在这些发现的指导下，我们在 100B 词元上将最佳结果变体训练为 410M 和 1.45B 参数模型，并观察与门控 DeltaNet 相当的训练损失和基准性能。