生产级LLM智能体运行时架构模式的选择与组合方法学

生产级LLM智能体将随机性模型输出与确定性软件系统相结合，但两者之间的边界很少被当作一等架构对象对待。本文将该边界命名为随机-确定性边界（SDB）：由提议者、验证器、提交步骤与拒绝信号构成的四部分契约，规定了LLM输出如何成为系统动作。我们认为SDB是生产级智能体运行时的承重原语。围绕这一原语，我们将智能体运行时设计组织为三个关注点：协调、状态与控制。我们给出六种运行时模式的目录，它们在会话型、自主型与长时程智能体中以不同方式组合SDB：分层委托、scatter-gather加saga、事件驱动排序、共享状态机、supervisor加gate，以及人在环路。对每种模式，我们追溯其在分布式系统概念中的渊源，并指出当执行者是随机的时候会发生什么变化。本文贡献了选择运行时模式的五步方法学、把生产故障映射到模式弱点的诊断流程，以及一种名为重放分歧的失效模式：当模型版本或提示发生变化时，基于LLM的确定性事件日志消费者会产生不同的下游输出。一个风格化的可靠性分解将单次调用模型方差与架构动量分离开来，由此引出如下论断：随着模型方差下降，模式选择与SDB强度将成为长期可靠性越来越重要的杠杆。我们将该方法学应用于五个工作负载，并为一个90天合同续约智能体提供了一个可运行的参考实现。