通过边界感知提示优化验证所声明的文本到图像模型

随着文本到图像 (T2I) 生成的普及，第三方平台越来越多地集成多个模型 API 以方便图像创建。然而，使用官方模型的虚假声明可能会误导用户并损害模型所有者的声誉，因此模型验证对于确认 API 的底层模型是否与其声明相符至关重要。现有方法通过使用官方模型所有者生成的验证提示来解决此问题，但生成依赖于多个参考模型进行优化，导致计算成本较高且对模型选择敏感。为了解决这个问题，我们提出了一种称为边界感知提示优化（BPO）的无参考 T2I 模型验证方法。它直接探索目标模型的内在特征。关键的见解是，尽管不同的 T2I 模型为正常提示产生相似的输出，但它们在嵌入空间中的语义边界（“corgi”和“bagel”等两个概念之间的过渡区域）是不同的。这些边界附近的提示会在目标模型上生成不稳定的输出（例如，有时是柯基犬，有时是百吉饼），但在其他模型上保持稳定。通过识别此类边界相邻提示，BPO 捕获特定于模型的行为，这些行为可作为区分 T2I 模型的可靠验证线索。对五个 T2I 模型和四个基线的实验表明，BPO 实现了卓越的验证准确性。