线性 Transformer 在高斯混合任务中的对抗鲁棒迁移

对抗性训练是对抗对抗性攻击最可靠的防御之一，但通常必须为每个任务重新支付其高昂的计算成本。稳健的基础模型提供了一种有前途的替代方案：对模型进行一次对抗性预训练，然后通过轻量级适应将其稳健性转移到下游任务。然而，一个基本问题仍然悬而未决：在预训练过程中获得的鲁棒性是否可以转移到看不见的任务而不需要进一步的对抗性训练？在本研究中，我们对这个问题给出了肯定的回答。大规模对抗性预训练的单个模型可以在新任务上实现最佳鲁棒性，而无需额外的特定于任务的训练。具体来说，我们表明，对于一系列高斯混合分类任务，跨任务进行对抗性训练的足够深的线性变换器可以通过干净演示的上下文学习，在以前未见过的任务上渐近获得稳健的贝叶斯误差。相比之下，经过标准训练的模型则不能。我们进一步分析梯度流程下的收敛性、准确性-鲁棒性权衡以及演示复杂性。