FedOT：通过联合 LDM 的水印进行所有权验证和泄漏追踪

在联邦学习 (FL) 中训练潜在扩散模型 (LDM) 因其能够将 LDM 强大的生成能力与 FL 的隐私保护特性相结合而受到越来越多的关注。然而，FL 需要与多个参与者共享全局模型，这存在未经授权的模型分发或被恶意客户端转售的风险。虽然直观的方法是对 FL 中的 LDM 采用现有的基于 VAE 的水印技术，但由于两个基本挑战，该策略无法解决此类威胁：（1）现有方法支持所有权验证，但缺乏跟踪模型泄漏到特定恶意客户端的能力； (2) 基于 VAE 的水印很容易受到攻击，因为只需用干净的对应物替换解码器即可将其删除。在本文中，我们提出了 FedOT，这是联邦 LDM 中所有权验证和泄漏跟踪的第一个框架。具体来说，为了解决第一个挑战，我们设计了分块水印，其中第一部分用于所有权验证，第二部分用于客户端识别。此外，为了克服第二个挑战并确保模型免受 VAE 替换攻击，我们引入了潜在向量变换（LVT），它通过修改 VAE 的原始潜在分布来加强 VAE 和 U-Net 潜在空间之间的连接。因此，任何替换 VAE 来去除水印的尝试都会导致图像质量显着下降，从而使 LDM 模型无法使用。大量实验表明，FedOT 在所有权验证和可追溯性方面均取得了卓越的性能。项目页面：https://spyzixuan.github.io/FedOT/。