RippleCP：衡量编码Agent检查点的恢复收益

Agent检查点系统决定什么状态与恢复相关、如何对其进行快照以及是否允许回滚。没有人决定他们暴露的哪些安全边界值得实现。我们将其表述为反事实检查点优势，即通过对候选者设置检查点而不是跳过它来减少未来恢复成本，并通过将 CP 分支和 SKIP 分支驱动到相同的逻辑故障并在匹配的模型、工具、验证器和停止条件下恢复来衡量它。在 12 个 SWE-bench Verified 任务和 106 个真实恢复分支的冻结试点中，检查点为每个任务节省了 49.4 秒，并且该数字分解为相距两个数量级的两个状态。第一个检查点在 156.5 秒的受保护工作上返回 100.0 秒，转换为 0.64；第二个一步之后在 41.8 秒上返回-1.1 秒，转换为-0.03。恢复是重新推导而不是重放，因此保留的工作对于保存的工作来说是一个糟糕的指导，并且经典的经过工作规则通过其全部名义成本对第二个检查点进行了错误定价。我们确定安置可以支付的费用，并设定安置策略必须明确的标准。