论文

用于跨预算稳健性评估的边际下降坐标

Margin-Drop Coordinates for Cross-Budget Robustness Evaluation

模型评测评测方法与指标

摘要

固定预算鲁棒性评估可能会选择错误的冻结视觉编码器。当加强相同的评估时,在浅层攻击中幸存下来的编码器可能会失去大部分鲁棒性。我们询问浅层评估是否包含足够的信息来识别这种预算脆弱性。对于每个干净正确的样本,评估记录干净的成对裕度、一阶线性化裕度下降比例、干净开始单步攻击的裕度下降以及迭代攻击达到的下降。按该比例进行标准化给出了三个裕度下降坐标,捕获干净的裕度松弛、一步不足和漂移,其中漂移是迭代攻击超出一步扰动所达到的额外标准化裕度下降。它们共同重建了标准化的攻击后裕度,从而重建了通过或失败的结果。在 42 个预训练的冻结视觉编码器中,浅层生存率基本上不包含有关随后的 PGD-10 到 PGD-200 崩溃(Spearman -0.006)的排名信息,而中值浅层漂移坐标将相同的崩溃排名为 +0.811。结果保留在保留的编码器池中并在 $\ell_\infty$ 评估下。由于深度评估仅限于 11 个编码器,因此通过浅漂移排序可以恢复 17 个高崩溃编码器中的 11 个,而根据生存率排序则恢复了 5 个。完整的坐标分解进一步区分了共享相同固定预算残差但在更深的预算上出现分歧的情况,并将干预下的边际修复与漂移修复分开,揭示了仅端点稳健性无法识别的不同修复路径。