ClayBuddy：编码智能体 故障的框架、评估和缓解

软件工程中人工智能代理的广泛部署正面临着一系列罕见但高度危险的错位错误。由于对这种行为进行采样很棘手，因此我们将这些故障分解为三种不同的机制：规范不足，默认模型行为不安全；能力错误，安全操作可用但模型不遵守；以及代理Harness错误，其中安全操作无法执行。在对这些机制进行压力测试的 8 项评估中，我们发现前沿模型难以驾驭，仅通过 3 个调节示例即可引发危险行为，并且可以以非平凡的概率随机生成破坏性命令。这三种机制自然有助于针对每一种机制采取有针对性的缓解措施，从而激发了我们对Harness的修改 ClayBuddy。 ClayBuddy 允许代理修改自己的工具以提供安全保证，包括一种有选择地截断其自身上下文的新颖工具。我们衡量了 ClayBuddy 在安全性和功能方面的有效性，发现它消除了某些任务中的违规行为。这表明我们的分解是有效的，也是我们Harness设计理念的一个例子。