智能体AI控制评估中的攻击选择有意义地降低安全性

战略性地选择攻击时间的攻击者比不加区分地攻击的攻击者更难被捕获。人工智能控制是一个安全框架，用于在较弱的、可信的监控器和有限的人力审计预算的监督下部署有能力但不可信的人工智能代理。控制评估通过将红队攻击策略与蓝队监视器进行比较来对这些协议进行压力测试，但当前的评估通常假设攻击者没有战略性地选择攻击时间。我们通过将攻击决策分解为启动策略（决定攻击者何时应进行攻击）和停止策略（决定攻击者何时应中止正在进行的攻击）来研究代理设置中的这种功能（攻击选择）。在 BashArena 和 LinuxArena 这两个代理环境中，这两种策略都显着降低了测量的经验安全性，而没有改变潜在的攻击能力。按照 1% 的审计预算，我们的启动策略将 BashArena 和 LinuxArena 的安全性降低了 20pp，而我们的停止策略将 BashArena 的安全性降低了 20pp，在 LinuxArena 的安全性降低了 28pp。这些减少应被解释为攻击选择效果的上限。因此，现有的控制评估可能会针对选择性攻击者产生过于乐观的安全估计。我们建议未来的评估、系统卡和安全案例引发攻击选择，以产生更切合实际的安全评估。