神奇的自适应分类法及其使用方法

代理系统的执行跟踪记录了它是如何失败的，并且在不改变模型权重的情况下改进此类系统的程序（轨迹选择、提示和工作流优化、运行时监控）读取这些跟踪以获取反馈。然而，原始痕迹并不是积累反馈的不良媒介：冗长、特定于实例，并且缺乏针对反复出现的故障的稳定词汇。我们认为，代理系统应该维护其如何失败的明确表示，从其自身行为中诱导出来，并在需要失败反馈时可重用。 AdaMAST 通过将目标系统的跟踪转换为紧凑的、基于证据的故障分类法来构建这种表示：沿着三个固定轴（系统级、特定于角色和特定于域）组织命名的故障代码，每个名称、定义和证据模式都从跟踪中得出；没有任何代码是手工编写的，没有任何人工注释的痕迹。该分类不仅是事后诊断，而且是共享反馈界面，以三种方式改进代理。在代理系统搜索中，对失败候选人的分类编码诊断在我们测试的所有五个基准上都优于自由形式反射。在运行时，分类反馈将 SWE-agent 在 SWE-bench Verified Mini 上的分辨率从带有自由文本反射的 60% 提高到 70%，并将作为运行时技能的 Claude Code 从 64.0% 提高到 70.7%。在轨迹选择方面，AdaMAST-Judge（一种基于诱导代码构建的验证器）在 Terminal-Bench 2.0 上的 best-of-5 精度比 Pass@1 提高了 8-15 个点。词汇表本身是紧凑的（保留痕迹区别的数量级压缩）、人类忠实的（比手工制作的参考词汇表更紧密地匹配专家故障注释）和自适应的（针对不同领域引入的分类法共享很少的代码）。自适应故障分类法关闭了代理产生的痕迹和改进它们的程序之间的循环。