企业人工智能的有界自治：类型化的动作合约和消费者端执行

大语言模型 越来越多地用作企业软件的自然语言接口，但它们直接用作系统操作员仍然不安全。模型错误可能会传播为未经授权的操作、格式错误的请求、跨工作空间执行和其他代价高昂的故障。我们认为这主要是一个执行架构问题。我们提出了一种有界自治架构，其中语言模型可以解释意图并提出操作，但所有可执行行为都受到类型化操作合约、权限感知能力暴露、范围上下文、副作用前验证、消费者端执行边界和可选人工批准的约束。企业应用程序仍然是业务逻辑和授权的真实来源，而编排引擎则在显式发布的操作清单上运行。我们在三种条件下评估已部署的多租户企业应用程序中的架构：手动操作、禁用安全层的无约束人工智能以及完全有界自治。在涵盖七个故障系列的 25 个场景试验中，有界自治系统完成了 25 项任务中的 23 项，且不安全执行为零，而无约束配置仅完成了 25 项任务中的 17 项。两个错误实体突变逃脱了所有消费者贡献层；只有消歧和确认机制拦截此类。两种 AI 条件均比手动操作提速 13-18 倍。至关重要的是，删除安全层使系统的用处降低：结构化验证反馈引导模型以更少的次数纠正结果，而不受约束的系统则产生了成功的幻觉。多个安全属性在结构上由代码强制执行，并拦截所有目标违规行为，无论模型输出如何。其结果是一个实用的、已部署的架构，可以使不完美的语言模型在企业系统中发挥作用。