论文

SEVerA:自我进化药物的验证合成

SEVerA: Verified Synthesis of Self-Evolving Agents

智能体系统Agent 动作执行与治理

摘要

最近的进展表明,自我进化的 LLM 代理在程序修复和科学发现等任务上的有效性。在此范例中,规划器 LLM 合成一个调用参数模型(包括 LLM)的代理程序,然后根据任务进行调整以提高性能。然而,现有的自我进化代理框架没有提供安全性或正确性的正式保证。由于此类程序通常是根据看不见的输入自动执行的,因此缺乏保证会引发可靠性和安全性问题。我们将代理代码生成制定为受限学习问题,将硬形式规范与捕获任务效用的软目标相结合。我们引入了形式保护生成模型(FGGM),它允许规划器 LLM 使用一阶逻辑为每个生成模型调用指定正式的输出契约。每个 FGGM 调用都将底层模型包装在带有经过验证的后备的拒绝采样器中,确保每个返回的输出都满足任何输入和参数设置的约定。在 FGGM 的基础上,我们提出了 SEVerA(自我进化验证代理),这是一个三阶段框架: 搜索综合包含 FGGM 调用的候选参数程序;验证证明所有参数值的硬约束的正确性,将问题简化为无约束学习;学习应用可扩展的基于梯度的优化(包括 GRPO 样式的 微调)来改进软目标,同时保持正确性。我们在 Dafny 程序验证、符号数学综合和符合策略的代理工具使用($τ^2$-bench)上评估 SEVerA。在各个任务中,SEVerA 实现了零约束违规,同时提高了无约束和 SOTA 基线的性能,这表明正式的行为约束不仅保证了正确性,而且还引导综合向更高质量的智能体方向发展。