BudgetPix：像素空间图像扩散的计算自适应标记化

大多数图像生成模型依赖于统一标记化，将完全相同的计算预算分配给相同大小的图像块。这种静态范式无法适应推理时的不同资源限制，并且通过将相同的精力投入到简单的背景和复杂的细节上，会产生次优的质量成本权衡。我们提出了 BudgetPix，这是一种自适应标记化框架，可根据视觉复杂性和空间布局动态分配计算，从而在推理时实现灵活的计算预算。 BudgetPix 包含三个关键组件：(1) 自适应编码器，使用熵引导四叉树和多尺度补丁嵌入器将固定大小的图像映射到可变长度的标记序列； (2) 尺度感知解码器从多尺度标记集重建固定分辨率图像； (3) 灵活的训练和采样计划，使像素空间降噪器能够跨可变token计数进行操作。 BudgetPix 与现有的像素空间扩散架构无缝集成，使单个检查点能够在 广泛的计算预算。在文本到图像生成方面进行评估后，BudgetPix 的保真度与 MiniT2I-L（512^2$）和 PixelDiT（1024^2$）的保真度相匹配，仅使用原始计算预算的 25%。在使用 MeanFlow 主干的类条件生成中，BudgetPix 仅需要全部计算预算的 60% 即可生成质量下降接近于零的图像，观察到 FID 略有增加 0.8 点。人类和 VLM 评委的综合评估证实，BudgetPix 与之前的预算自适应基线相比，建立了显着改进的质量效率权衡。更多详细信息请访问我们的项目页面：https://karaozgur.com/BudgetPix