RECAP：提示持续适应的回归评估

生产代理系统通常面临不断变化的约束，并且必须从下一次交互开始遵守。像工具调用通知更改合规性阈值或添加披露要求的策略更新等场景都符合此标准，在生产中几乎没有错误的余地。这种主动适应设置在部署中很常见，但在当前基准测试中不存在，当前基准测试假设静态约束集或具有评估反馈的反应性协议。我们引入了 RECAP，这是一个基准，它在严格主动的先适应后测试协议下测量约束级别的持续学习现象（遗忘、回归、前向迁移）：即时优化方法仅接收约束规范，并且必须在看到任何测试数据之前进行概括。通过评估五个 LLM 和三个具有不断变化的约束的时间表的六种方法，我们发现这些方法在性能上没有显着的改进，即使在产生更高的延迟之后也是如此。这些方法是为离线或反应性设置而设计的，不足以满足主动范式。我们的工作强调了设计主动及时适应方法的日益增长的需求，其中模型必须保持稳健，以满足部署中不断变化的需求。