超越生成先验：使用 JEPA 引导扩散进行少数采样

少数采样旨在在数据流形上生成低密度实例，在医疗诊断、异常检测和创意人工智能等应用中至关重要。然而，现有的方法相对于从训练数据中学习的生成先验来定义少数样本，将稀有性限制在可能很难反映现实世界语义的特定于模型的概念上。在这项工作中，我们提出了一种以世界为中心的少数群体抽样视角，它根据现实世界的先验而不是生成器引起的密度来定义稀有性。为此，我们引入了 JEPA 指导，这是一种由联合嵌入预测架构 (JEPA) 指导的扩散采样框架——一类编码广泛、语义丰富的表示的世界模型。 JEPA 指导将扩散轨迹引导至 JEPA 诱导的隐含密度下的低密度区域，从而使生成的少数群体与现实世界的语义稀有性保持一致。为了使 JEPA 制导在计算上实用，我们开发了有原则的近似策略以及理论误差界限，从而显着减少了制导计算的开销。跨无条件、类条件和文本到图像生成的大量实验表明，JEPA 指导不断提高少数样本的保真度和语义有效性，在捕获现实世界的稀有性概念方面优于以生成器为中心的基线。代码可在 https://github.com/soobin-um/jepa-guidance 获取。