论文

面向长程企业AI智能体的四轴决策对齐

Four-Axis Decision Alignment for Long-Horizon Enterprise AI Agents

智能体系统上下文与知识记忆Agent任务评测Agent记忆

摘要

长程企业智能体在有损记忆、多步推理和约束性监管规定之下做出高风险决策(贷款核保、理赔裁定、临床审查、预授权)。当前的评估只报告单一的任务成功标量,混淆了不同的失败模式,也掩盖了智能体是否与其部署环境所要求的标准相一致。我们提出,长程决策行为可分解为四个正交的对齐轴,每个轴都可独立测量、独立失效:事实精确性(FRP)、推理连贯性(RCS)、合规重构(CRR)与校准弃权(CAR)。CRR是一个全新的以监管为依据的轴;CAR则是将覆盖率与准确率区分开的度量轴。我们在一个受控基准(LongHorizon-Bench)上运用这一分解,该基准覆盖贷款资质审核与保险理赔裁定,并采用确定性的真值构建。通过运行六种记忆架构,我们发现了聚合准确率无法揭示的结构性问题:检索在事实精确性上崩溃;以模式为锚的架构要支付“脚手架税”;在事实保全提示词下的朴素摘要是FRP、RCS、EDA与CRR上的强基线;且六种架构在每个案例上都选择给出答案,暴露出一个该领域尚未针对的决策对齐轴。这一分解还检验了我们自己的一项预注册预测——摘要会在事实回忆上失败——而数据以很大的幅度推翻了它,这种轴级别的反转正是聚合准确率会掩盖的。制度对齐(监管重构)与决策对齐(校准弃权)在对齐文献中代表性不足,而一旦决策走出实验室它们就成为承重维度。该框架可通过两个步骤迁移到任何受监管的决策领域:构建事实模式,以及校准CRR审计提示词。

面向长程企业AI智能体的四轴决策对齐:论文配图
图 3:三个预算层级的测量指标概况(第 2 阶段)。每个面板将四个轴分组(FRP、RCS、EDA、CRR);组内的每个条形都是五个条件之一。 10 个案例的平均值。跨架构的配置文件并不平坦;每个架构在不同的轴签名上失败。分解使这些签名变得可见。