论文

模拟器支持的工程代理中的编辑后重新验证:验证-Cadence 指导的受控比较

Post-Edit Re-Verification in Simulator-Backed Engineering Agents: A Controlled Comparison of Verification-Cadence Guidance

智能体系统Agent任务评测

摘要

与外部模拟器交互的工程代理可能需要协调设计修改和重新获取修改状态的工程证据。我们询问,当保留明确的验证节奏指导而不是省略而验证相关的状态/事实保持不变时,首次编辑后重新验证是否会发生变化。 Cadence-Guided (CG) 保留了一条在实质性修改后请求新仿真的指令,而 Cadence-Omited (CO) 则删除了该指令;这两种情况都没有使用硬门。因此,该研究衡量以指令为条件的编辑后验证政策的遵守情况,而不是自发地认识到先前的证据已经过时。使用 DWSIM 作为模拟器后端和连续阀门压力调整,在八个合成案例上评估了五个阿里巴巴/Qwen 模型;每个模型-案例-条件组合通过实时 API 调用执行 3 次,每个条件产生 120 个评估槽。在 94/120 CG 时隙与 32/120 CO 时隙中观察到重新验证;节奏违规发生在 26/120 和 87/120;最终以 95/120 与 35/120 的比分取得了有限的成功。 qwen3.5-35b-a3b 显示出最少的重新验证(CG 中为 1/24,CO 中为 0/24),并且在任何一种情况下都没有最终成功。在这个有界协议中,明确的编辑后验证节奏指导与更多的重新验证、更少的节奏违规和更频繁的有界最终成功相关,支持将验证节奏作为显式交互协议组件进行处理。