论文

最小化监督:委托人工智能系统的不确定性治理

Minimal Oversight: Uncertainty-Aware Governance for Delegated AI Systems

智能体系统Agent 动作执行与治理

摘要

人工智能系统越来越多地将决策委托给专门的模型、评估器、工具和监督控制器。人工智能的核心问题不再仅仅是模型的准确性,而是不确定性感知治理:授予多少自主权、哪些证据应该校准信任、委托人工智能系统可以维持的性能上限,以及何时需要人为干预。我们提出最小充分监督原则(MSO),这是有原则的自治授权的变分原则:在交付约束下最小化费舍尔信息流形的治理负担。由此产生的欧拉-拉格朗日解决方案在整个任务空间中产生了治理委托的充水分配。基于揭示行动治理的授权渠道模型,我们证明了固定符号审查策略的容量定理,推导出将工作流复杂性与质量退化相关联的局部一阶近似,并给出了将干预时间与有效容量、复杂性和漂移联系起来的漂移主导的自治时间缩放定律。在这个框架内,掩蔽似乎是一种结构性人工智能治理病态:纠正的表现可以隐藏校准信任所需的能力信号。综合模拟和半真实重建工作流程支持设计方案,包括上游优先校正、基于敏感性的干预以及在扩大自主权之前进行明确的可行性检查。其结果是为委托人工智能系统中的不确定性、规划和监督提供了一个可计算的框架。 https://github.com/crbazevedo/delegation-lab 提供了配套的 Python 包。