论文
浅层思考,深入解决:控制循环动态以获得可靠的测试时间深度
Think Shallow, Solve Deep: Controlling Recurrent Dynamics for Reliable Test-Time Depth
摘要
循环深度推理机旨在通过在测试时更长时间地迭代更新来解决更困难的问题,但额外的迭代可以改进、保留或降低答案。我们表明,经过训练的操作员的可测量属性,即其有限时间动态状态(估计为沉降、边缘或漂移),表明发生了哪一种情况。我们给出了深度安全的充分条件:一旦算子的每步位移相对于解码器余量较小,解码的答案在进一步的迭代下就不会改变。根据经验,在每个难度层从 800 美元未增强示例训练的算法任务中,结算算子不会随着深度的增加而降级,并且在某些任务中,在更难的未见实例上将其转换为更高的精度(数独,超过训练范围 0.19 美元到 0.34 美元)。单个终端定点目标将机制和深度行为一起移动:删除它会引起漂移并删除增益,并将其添加到通用递归中会产生进位传播的深度安全外推。我们给出了有用测试时间深度的四个操作标准,使用它们对故障模式进行分类,并且作为一致性检查,对属于非沉降系列的 Huginn-3.5B 应用相同的测量。