AI 编写生产软件的保障案例研究

软件工程智能体可以使没有正式软件训练的人们构建他们无法实现的系统，同时可以生成比专家可以有意义地检查更多的代码。在这两种情况下，详尽的代码审查作为人类控制的唯一基础并不可靠。我们报告了一个通过编码智能体构建的生产医疗保健平台的案例研究，该平台由没有正式软件工程训练的运营商进行管理。随着时间的推移，它的工作流程发展成为一个以人为主导的元智能体系统，其中一个智能体编写代码，另一个智能体监督和审查代码，项目规则继承经验教训。操作员发现用于监督系统的测试、监控和审查智能体是容易出错的。一些监控器衡量代理而不是结果，一些审计悄无声息地失败，缺失的检查从报告的结果中消失，一项自动修复导致运营中断。在这种情况下，人类控制依赖于保持预期结果，用于判断结果的证据、智能体的权限和最终的人类决定都与相同的基本目标相关。