测试时训练的决策理论观点：何时、多远以及适应哪些方向

测试时训练 (TTT) 通过参数更新使预训练模型适应每个提示，从而提高预训练到测试分布变化下的准确性。然而，其性能经常受到不稳定和对超参数（例如更新步骤和子空间）的敏感性的影响。我们通过决策理论的视角来解释这种行为，将 TTT 视为内核机制中的隐式贝叶斯推理。在高斯过程基准下，我们表明，当更新在频谱上与提示的信噪比匹配并与查询相关的特征方向对齐时，TTT 会减少预测误差。这一观点支撑了以下结果：（1）我们展示了固定更新步骤和子空间在分布变化下何时失败，从而激发了自适应策略； (2) 我们证明通过及时证据选择更新步骤承认 PAC-Bayes 保证不会过度拟合； (3)我们在线性高斯校正模型下描述贝叶斯最优更新子空间，产生选择 Transformer 块和头的评分规则。我们的理论有助于解释 TTT 的经验不稳定性，朝着何时、多远以及向哪些方向进行调整的原则性指导迈出了一步。