在递归计算中保留什么：局部预测充分性原则

递归计算反复压缩或重用中间状态，从而产生了一种简单的张力：在较长的递归路径中必须保持有用的信息在达到最终预测之前也有更多的机会丢失。现有的重建或局部预测目标提供了易于处理的监督，但不能确保保留的信息足以用于后续的递归计算。我们通过递归预测闭合来识别局部预测充分性：控制各个接口处的局部预测缺陷可以从根本上控制所产生的差异。然后我们将这一原则转化为易于处理的训练程序。从变分表征开始，我们得出有限的预测测试和经验预测缺陷，用于测量压缩过程中保留的预测值。它的预测灵敏度定义了参数更新的边际松弛半空间约束，并且仅当预测保留将被违反时，我们才将主机优化器建议的更新投影到它们的交集上。跨时间图、语言记忆、视觉语言动作控制和递归自我改进，该方法在匹配的压缩预算下匹配或改进相应的主机模型，在较重的递归或记忆需求下获得更大的增益，同时在连续转换中更好地保留预测信息。至关重要的是，通过主机兼容的干预措施，在所有四种设置中实例化相同的与任务无关的预测保存原则，同时保持端点任务、骨干模型和评估协议固定。这些结果将递归接口处的预测保留确立为递归压缩的通用训练原理。