KAIJU：LLM 代理意图门控执行的执行内核

使用 ReAct 的基于 大语言模型 的工具调用自主代理表现出三个局限性：串行延迟、二次上下文增长以及提示注入和幻觉的脆弱性。最近的工作朝着将计划与执行分离的方向发展，但在每种情况下，模型仍然与执行机制耦合。我们为 LLM 代理引入了系统级抽象，它将代理工作流的执行与 LLM 推理层解耦。我们定义了两个一流的抽象：(1) 意图门控执行 (IGX)，一种强制执行意图的安全范例，以及 (2) 管理调度、工具分派、依赖性解析、故障和安全性的执行内核。在 KAIJU 中，LLM 预先规划、乐观地调度工具，与依赖感知参数注入并行。工具通过 IGX 基于四个自变量进行授权：范围、意图、影响和许可（外部批准）。 KAIJU 支持三种自适应执行模式（Reflect、nReflect 和 Orchestrator），提供逐步细粒度的执行控制，适合复杂的调查和深入的分析或研究。针对 ReAct 基线的实证评估表明，由于规划开销、中等复杂度的收敛以及需要并行数据收集的计算查询的结构优势，KAIJU 在简单查询上存在延迟损失。除了延迟之外，这种分离还强制执行行为保证，而 ReAct 无法仅通过提示来匹配。代码可在 https://github.com/compdeep/kaiju 获取