需求约束的验证调试：冻结的 40 亿参数局部模型作为具有验证和发布权限的外部验收层下的候选生成器

为机电一体化调试中的传感器坐标和极性绑定制定了验收协议。候选生成与发布权限分离。确定性解析器不支持的需求将被路由到具有 40 亿个参数的冻结本地语言模型。只有当这两个事实都可以通过密封语法下的外门推导出来时，计划才会被发布。当符合资格时，黄金标准用户会请求一个规范的答案。该协议根据基准构建之前确定的标准，对由隔离代理上下文编写的 144 个任务进行了一次评估，而无需访问门、语法或实验计划。设立了三个贡献。首先，分别测量候选生成和发布决策。在 22 项无法回答的任务中，有 21 项提交了制定的就绪计划，但全部都被拒绝了。同样的 83 个版本在没有模型调用的情况下被复制。二是83次发布中未发现虚假发布情况。在独立同分布假设下，获得了单侧 95% Clopper-Pearson 上限 0.0354 作为诊断，低于密封的 5% 阈值。然而，随后在种子 0 基准之外的 146 个版本中记录了一个错误版本。第三，对防止错误用户答案的​​保护进行了描述。这两个事实均与 96 项可回答任务中的 13 项的原始文本相关。其余任务的 431 组配对中，有 169 组给出了错误答案，其中包括涉及坐标排除的失败答案。未测试可部署的提问策略，因为资格是根据答案确定的。未测量门灵敏度和真实用户行为。