论文
抖动防御：通过多级 Floyd-Steinberg 抖动实现视觉基础模型的对抗鲁棒性
Dithering Defense: Adversarial Robustness of Vision Foundation Models via Multi-Level Floyd-Steinberg Dithering
摘要
视觉基础模型被广泛用作许多下游任务的冻结主干，使其成为对抗性攻击下的单点故障。我们研究多级 Floyd-Steinberg 误差扩散抖动作为一种轻量级的、与模型无关的输入转换，它可以在保留语义内容的同时破坏对抗性扰动。与之前的工作（仅限于二进制抖动、灰度 CIFAR-10 和从头开始训练的单个小模型）不同，我们评估了六项任务（分类、分割、深度估计、检索、字幕、视觉问答）、两个模型系列（DINOv2、PaliGemma）和三种强度递增的攻击（PGD、MI-FGSM、SIA），以及使用直通估计器的自适应攻击者。我们的结果表明，Floyd-Steinberg 在中间量化级别上的抖动，特别是与后处理模糊结合时，超过或匹配所有测试的基线，包括基于扩散的去噪，并且干净输入的退化大大减少。