UniGen-AR：通过自回归建模统一视觉生成

现代计算机视觉管道仍然分散，文本到图像生成、编辑、恢复和经典感知等任务由单独的模型处理。我们研究统一视觉生成（UVG），其中单个模型通过统一的多模态接口产生不同的图像值输出。虽然基于扩散的系统由于强大的质量和可控性而在 UVG 中占据主导地位，但它们的迭代采样会产生大量的推理延迟，限制了实际部署。为了解决这些限制，我们提出了 UniGen-AR，这是一个将通用多模态语言模型 (MLLM) 与高效的下一代视觉自回归 (VAR) 解码器配对的框架。该设计保留了基于 MLLM 的调节的灵活性，同时利用了 VAR 模型的采样效率和潜在统一属性。在我们的框架中，MLLM 将自由格式指令和控制信号编码为统一序列，指导 VAR 解码器为跨越四个系列的超过 15 个任务生成图像值输出。根据经验，UniGen-AR 的推理延迟比基于扩散的基线最多降低19倍，同时保持或提高了输出质量。我们的消融进一步表明，VQ-VAE 分词器设计，特别是码本大小和层次结构，是 UVG 中 VAR 可扩展性的关键因素。这些结果将视觉自回归建模确立为统一视觉生成的引人注目且高效的支柱。我们的项目页面位于 https://zpbao.github.io/projects/unigenar。