Harness演化中的组合安全故障：识别和运行时监控

自演进Agent的Harness不断更新持久性组件，例如内存、提示、技能和工具。我们称这个过程为Harness演进。然而，这种演变可能会带来意想不到的安全风险。现有的工作研究Harness错误演进，并验证候选Harness或归因后的单个组件更新，而对跨组件更新交互的安全分析基本上没有进行检查。为了解决这一差距，我们研究了Harness演化中的组合安全故障，其中单独安全和保留实用性的组件更新之间的相互作用可能会产生不良或不安全的Agent行为，从而揭示了Harness演化固有的安全风险。在三个与安全相关的基准中，我们确定了 43 个成对的和 18 个不可约的三向组合安全故障。传统的解决方案在验证跨组件交互时会产生组合复杂性，随着Harness的发展，安全检查变得不切实际。为了解决这个问题，我们引入了一种类型化超图，它将组件状态表示为节点，将与安全相关的高阶交互表示为超边。当Harness发生变化时，超图仅更新变化状态的交互邻域，而不是重建全局组合空间。在此基础上，我们开发了一种超图引导的运行时监控机制。实验表明，我们的方法有效地降低了组合安全风险，同时保留了任务效用并降低了交互检查成本，并进一步揭示了不同安全机制之间的经验安全-效用-成本权衡。