论文

利润即红队:战略性经济交互中的智能体压力测试

Profit is the Red Team: Stress-Testing Agents in Strategic Economic Interactions

智能体系统Agent任务评测

摘要

随着智能体系统进入真实世界部署,其决策日益依赖外部输入,如检索到的内容、工具输出以及其他行动者提供的信息。当这些输入可被对手策略性塑造时,相关安全风险就超出了固定的提示攻击库,扩展到将智能体引向不利结果的自适应策略。我们提出利润驱动红队测试,一种压力测试协议,用仅凭标量结果反馈训练以最大化自身利润的学习型对手取代手工攻击。该协议不需要LLM评审打分、攻击标签或攻击分类体系,专为具有可审计结果的结构化场景设计。我们将其实例化于一个由四种典型经济交互构成的精简竞技场,为自适应可利用性提供受控测试床。在受控实验中,面对静态基线看似强大的智能体在利润优化压力下变得持续可被利用,且学习型对手在无显式指令的情况下发现了试探、锚定和欺骗性承诺等策略。随后我们将利用片段提炼为简洁的智能体提示规则,使大多数先前观察到的失效方式不再有效,并显著提升目标性能。这些结果表明,利润驱动的红队数据可为提升具有可审计结果的结构化智能体场景中的鲁棒性提供一条实用路径。

利润即红队:战略性经济交互中的智能体压力测试:论文配图
图1:四种博弈与目标模型下,利润驱动红队优化后的攻击者剩余一致高于基线攻击者,验证以盈利压力作红队的有效性。