NearID：通过近身份干扰进行身份表征学习

在评估个性化生成和图像编辑等以身份为中心的任务时，现有的视觉编码器将对象身份与背景上下文纠缠在一起，导致不可靠的表示和度量。我们引入了第一个原则框架，使用近身份（NearID）干扰器来解决此漏洞，其中语义相似但不同的实例被放置在与参考图像完全相同的背景上，消除了上下文快捷方式并将身份隔离为唯一的区分信号。基于这一原则，我们提出了 NearID 数据集（19K 个身份、316K 个匹配上下文干扰项）以及严格的基于边缘的评估协议。在此设置下，预训练的编码器表现不佳，实现的样本成功率 (SSR)（一种严格的基于边距的身份歧视指标）低至 30.7%，并且通常将干扰因素排在真正的跨视图匹配之上。我们通过使用执行层次结构的两层对比目标来学习冻结主干上的身份感知表示来解决这个问题：相同身份>近ID干扰>随机负数。这将 SSR 提高到 99.2%，将部分级别的辨别力提高 28.0%，并在 DreamBench++（一种与人类一致的个性化基准）上与人类判断更加一致。项目页面：https://gorluxor.github.io/NearID/