论文
将V模型验证层引入LLM Agent的执行与终止控制
Verification as an Architectural Layer for LLM Agents: A V-Model Design, and a Pilot Study of Its Deterministic Core
摘要
遵循ReAct的LLM Agent把四项职责集中在一个模型中:选择策略、选择每步动作、格式化动作,以及判断结果是否充分。生成循环外没有机制拒绝输出,因此无法推进的Agent不会报告失败,而是运行到外部预算停止。我们提出把验证视为架构层,改造软件工程V模型:从需求到单步逐级分解规格,每层配专用验证器,确定性控制器执行全部裁决,只有验证结果能写入记忆。因此,拒绝能够定位引入错误的层级,Agent可以主动放弃而非耗尽预算才停止。每个验证器区分零成本确定性门禁与可选LLM评审,使各自贡献和成本可独立测量。我们报告试点,实现验收层与单元层验证器配对,比较五种共享执行器、工具集和评分器、仅验证方式不同的配置,使用8B底座在MuSiQue四跳分层测试。在47次执行中,两种未验证配置均未答对十个问题中的任何一个,每次都以步数上限或供应商词元限制结束;不带规划器的已验证配置答对八题,对其余弃答。确定性门禁以零边际成本产生九次已观察纠正中的八次;有验证后,规划反而降低表现。这些结果刻画终止行为,不代表大规模准确率。我们提出十二个月计划,完成并评估完整架构,包括试点遗漏的集成层验证器。