追踪Coding Agent在ARC-AGI-3中的跨任务学习

我们研究编码代理如何学习一系列抽象推理任务。该代理在固定Harness内的冻结基础模型上运行，并通过编写和运行 Python 和 shell 脚本来执行操作。除了其书面工件之外，它不保留任何状态，因此它形成、携带、纠正或放弃的每一个思想都会留下痕迹，其中思想是提交给文件的任何信念、规则或计划。我们让智能体玩 ARC-AGI-3，这是一组不提供任何指令的交互式推理游戏。每个游戏都是一系列关卡，清除一个关卡的策略可能会在下一个关卡中失败，因此每个新关卡实际上都是一项新任务。代理将其学到的内容记录为 Python 脚本和文本注释，而Harness则保留每个操作和观察的完整日志。我们的贡献是一个测量协议，它通过这些文件跟踪每个想法，从它形成的任务到它被纠正或放弃的任务，应用于来自两个模型系列的三个骨干的七次评估运行。为一项任务编写的脚本几乎不会在某个任务中再次被调用 后面的任务（630 个引用中的 33 个跨越了任务边界），因为大多数脚本嵌入了当前级别的状态。相反，代理将其知识重写为新脚本，保留一般规则并删除特定于级别的细节，并放弃在边界之前编写的 74% 的脚本。只有模型读取的注释永远不会被修改：代理在不删除早期声明的情况下附加，并且累积的矛盾根据日志解决。因为日志保留了所有内容，所以代理会选择性地忘记，而不是灾难性的。最昂贵的错误是将硬编码值带入任务中，而该值不再有效。这些发现来自代理编写的文件，无需访问模型，并且构成了编码代理如何持续学习的白盒分析。