论文

一次反思不够:经多假说失败归因的自纠错自主研究

One Reflection Is Not Enough: Self-Correcting Autonomous Research via Multi-Hypothesis Failure Attribution

智能体系统Agent 架构与控制循环Agent Harness

摘要

自主研究代理现在可以起草假设、编写代码、运行实验并撰写论文,但当实验失败时,它们仍然很脆弱。在流行的范式下,故障恢复通常被委托给单一的自由形式的反思:指标、日志和设计选择的丰富轨迹被压缩为一个口头批评,这通常会导致局部试错或放弃有用上下文的硬枢轴。我们提出 SAGE,一个自我纠正、自主、锚定的实验者,来解决这个故障恢复瓶颈。其核心机制是多假设失败归因(MHFA),将恢复视为结构化因果诊断。通过分析动态轨迹特征,MHFA 系统地生成针对故障的多种基于证据的解释,独立评估其严重性,并确定性地将已验证的根本原因路由到正确的干预级别(假设、实验设计或实施)。为了保证科学的诚实性,SAGE 进一步采用了一种有根据的报告机制,明确将起草的结果限制为实际测量值,编辑幻觉的数字。在 12 个主题、5 个域的基准测试中,SAGE 将指标输出从反射基线的 42% 提高到 92%,将工件质量从 5.00 提高到 6.75/10,并盲目地超越 AI-Scientist-v2(52.0 与 48.2),收益集中在代码开发和执行方面。虽然完全自主的科学写作和生成会议论文对于整个领域来说仍然是众所周知的难题,但 SAGE 成功地生产出了更加可靠和更高质量的科学成果。最终,通过将结构化恢复与明确的锚定约束相结合,SAGE 显着优于整体反射范式,为未来的自主研究奠定了高度值得信赖的基础。

一次反思不够:经多假说失败归因的自纠错自主研究:论文配图
图 2:SAGE 概述。主机管道运行八个阶段,从 A(范围界定)到 H(最终确定),如顶部所示。在分析阶段 (F),SAGE 首先检测零度量执行故障并将其路由到显式修复路径。对于结构故障,多假设故障归因使用测量指标、TrajPivot 轨迹特征和执行的代码/日志摘要 (1) 来生成候选故障解释 (2),按严重性对其进行排名 (3),并检查数据充分性 (4)。确定性路由器 (5) 将顶部已验证的结构原因映射到层次结构感知修复,例如方法细化、设计细化或枢轴,或继续写入 (G)。最后,锚定清单 (6) 根据测量值检查数字表条目。判决限制可以防止在有效但薄弱的结果上放弃假设,从而保留诚实的负面结果。