层隔离评估:使用 No-LLM 回归锁定测试工具对生产 LLM 代理的确定性支架进行门控
Layer-Isolated Evaluation: Gating the Deterministic Scaffold of a Production LLM Agent with a No-LLM, Regression-Locked Test Harness
摘要
端到端任务成功是评估 LLM 代理的主要方式,但一个汇总数字告诉您代理退步了,而不是退步的位置。我们提出层隔离评估:部署的排序代理被分解为固定的层分类(本体、意图、路由、分解、升级、安全、内存和横切信封/防御),每个层由其自己的断言切片以确定性的、非 LLM“纯”模式执行。纯套件(跨 23 个切片的 238 个案例;225 个案例在 2.39 秒内运行,约 10 毫秒/案例)针对锁定的每切片基线的每次更改在 CI 中运行。我们通过受控回归注入进行验证,在七个非安全层中一次降级一层。我们没有设计的效果是掩蔽:总通过率几乎没有变化(六个局部回归为 -1.7 到 -5.9 pp),而匹配的切片坑(-25 到 -91 pp)。层的切片对其自身错误的反应部分是通过构造实现的;测量的结果是 (i) 聚合掩蔽和 (ii) 损坏远离其他切片:注入层的切片是 7 个案例中的 5 个中受影响最严重的一个,并且是 7 个案例中的 7 个中受影响最严重的一个(19 个案例中的平均排名为 1.29)。本地化在第二个结构不同的租户(星巴克 SG)上进行复制:所有七个匹配的切片都是坑,因此它不是单一目录工件。我们将其定位为 EDDOps 规定的组件级评估的具体、确定性实例,但未实现,以 CheckList 作为祖先,并作为整个工作流程随机突变测试的确定性镜像。我们的贡献:(a)用于生产代理的完全分解的、亚秒级的、无 LLM 的每层工具,(b)拒绝对未执行层进行评分的覆盖诚实测试充分性标准,以及(c)回归注入演示,即每片基线锁定门将回归本地化为聚合度量掩模。