运行时治理自主AI智能体的五个原语

自主AI智能体的企业部署继承了一套为人类用户和长生命周期服务构建的控制模型，而这种适配在三个具体方面失效：智能体主体是短暂的，其出现和消失的速度快于配置发放；它们的动作由模型而非程序选择，因此其可能尝试的事情集合事先不可知；其种群是被发现而非被配置的，因为任何能调用API的人都可以创建一个智能体。我们主张，治理这类智能体是一个运行时问题——既不是模型对齐问题，也不是构建时问题——并且我们从动作生效之前与之后必须回答的问题中推导出五个原语：发现、身份、治理、证明（attestation）和供应链。对每一个原语，我们说明若其缺失会有什么失败，以及为什么其他原语在结构上无法替代它。我们描述了一种实现：智能体的动作在生效前依据策略进行中介（mediation），依据每租户的动作词表进行授权，并记录在哈希链接的签名账本中，第三方可在厂商不在场的情况下加以验证。我们报告了该架构的代价：强制执行点位于请求的关键路径上，身份需要每个工作负载配一个sidecar，故障关闭（fail-closed）的中介会把可用性事故转化为拒绝服务。我们明确说明实现状态：五个原语中的四个已构建并在私有试点中运行，第五个作为独立工具构建、尚未集成进请求路径。我们刻意将其保留在集合中：一个恰好与作者碰巧构建之物完全吻合的五部分分解不是分类法，而是对一个代码库的描述。