论文

SkillForge:具有循环验证的组合技能综合,用于生成经过正式验证的 Dafny 程序

SkillForge: Compositional Skill Synthesis with Verification-in-the-Loop for Generating Formally Verified Dafny Programs

智能体系统Agent Harness

摘要

从自然语言生成经过正式验证的程序仍然具有挑战性:现有方法要么在验证失败时一次性生成代码而无需追索,要么依赖于非确定性和不透明的开放式代理推理。我们引入了 SKILLFORGE,这是一个框架,它将正式的代码合成分解为原子的、可重用的技能库,每个技能都针对特定的子任务,如规范推断、主体合成、不变生成、错误诊断或有针对性的修复,并由提示模板、工具绑定和可判定的成功标准定义。验证驱动的工具会协调这些技能:它将候选者提交给 Dafny 验证者,将故障诊断为结构化类别,确定性地路由到适当的修复技能,并进行迭代,直到证明形式正确性或耗尽预算。在自然语言到 Dafny 规范对的策划基准上,SKILLFORGE 的性能显着优于最先进的代理方法(包括 ReAct 式代理、基于 MCTS 的修复和 RL 引导验证)和传统的迭代基线,同时需要更少的词元和更低的延迟。消融研究证实,每项技能都有可衡量的贡献,并且该工具与大多数在第一次尝试时得到验证的程序迅速融合。