通过构图技巧进行攻击的理论游戏

随着 大语言模型 的能力日益增强，对其安全部署的担忧也随之加剧。尽管许多联盟策略旨在限制有害行为，但仍然可以通过精心设计的对抗性提示来规避这些防御。在这项工作中，我们引入了一个理论框架，将攻击者和防御者之间的博弈形式化。在这个框架内，我们设计了一种理论上的最佳响应攻击策略，并表明它与许多现有的对抗性提示方法密切相关。我们进一步分析最终的博弈，描述其均衡特征，并揭示攻击者的固有优势。根据我们的理论分析，我们还得出了可证明的最佳防御策略。根据经验，我们评估了理论上最佳攻击的实际实例，并在包含不同 LLM 和基准的不同设置中观察到相对于现有对抗性提示方法更强的性能。