通过混合随机平滑验证异质扰动下的鲁棒性

随机平滑提供了强大的、与模型无关的鲁棒性证书，但现有的保证仅限于单一模式，单独处理连续和离散输入。这种限制在多模态模型中变得至关重要，其中决策取决于跨模态语义，并且对手可以共同扰乱异构输入，从而导致单模态证书不足。我们引入了一个统一的随机平滑框架，用于混合离散连续输入，该框架基于可分析处理的联合最坏情况问题的内曼-皮尔逊公式。通过分析因式分解的离散和连续噪声引起的联合似然排序，我们的方法产生了一个封闭形式的一维证书，它严格推广了高斯（仅图像）和离散（仅文本）随机平滑。我们验证了多模态安全过滤框架，据我们所知，提供了第一个与模型无关的 Neyman-Pearson 证书，用于交互相关的文本-图像安全过滤中的联合离散词元和连续图像扰动。