低延迟系统中的工具制造和自我进化 LLM 代理

生产 LLM 代理通常会为每个请求的相同过程步骤重新生成代码，从而浪费延迟和可靠性。我们用代理工具制作管道取代了这种推理时间编码循环，该管道在部署之前将重复的 SOP 步骤编译成经过验证的版本化工具。工具制造商在实时环境中进行综合，因为它收集执行跟踪，观察后端模式和值，生成候选工具，并根据标记的情况修复它们。在运行时，生产代理直接调用这些工具，并仅在需要时回退到代码生成。我们在履行中心警报分类系统中部署该方法，其中代理通过异构指标后端根据 44 节点 SOP 诊断警报。在生产中，工具调用将 p50 延迟减少了 42%。对于 1,500 个历史警报，它们通过抑制重复步骤中的运行间差异，将端到端错误率降低高达 53%。由于工具返回紧凑的结构化判决，因此它们还支持更简单的直接调用架构，在受控消融中将 p50 延迟进一步减少 62%。版本化工具还可以提高可审核性并暴露规范差距和上游数据漂移。我们的结果表明，构建和维护自己的工具库（自我进化代理的关键要素）的代理可以使工业 LLM 系统更快、更可靠、更易于操作。