像素空间自回归图像生成的并行轨迹生成近似

像素空间连续标记自回归 (AR) 生成直接将图像建模为原始像素块序列，避免离散标记化或单独预训练的标记生成器。然而，它面临着双重挑战：高维补丁生成会导致较大的单步错误，而教师强制训练会造成训练-推理差距，导致这些错误在 AR 步骤中累积。现有的修复（例如 $x$ 预测和输入噪声注入）只能部分缓解这些问题。精确的轨迹生成训练更好地匹配推理时间条件，但由于顺序采样速度过慢而不切实际。我们提出 \emph{Parallel Rollout Approximation} (PRA)，这是一个可共同解决这两个挑战的可扩展框架。 PRA 生成低维中间状态而不是高维像素块，然后使用像素解码器将它们映射回像素空间词元，从而保留像素输入、像素输出的 AR 接口。它还通过推理时使用的相同中间状态到像素路径构建类似推理的像素输入，独立地跨位置，近似推理时间轨迹生成期间遇到的像素反馈接口，同时保留并行的教师强制训练。在 $256\times256$ 分辨率的类条件 ImageNet-1K 生成中，具有 135M 参数的 PRA-S 实现了 2.58 的 FID，超过了之前的 10 亿级像素空间 AR 结果 3.60。扩展到具有 511M 参数的 PRA-L 进一步将 FID 提高到 1.94，在像素空间 AR 模型中建立了新的技术水平。除了生成之外，PRA 还比其他 AR 和扩散基线实现了更高的 ImageNet 分类探测精度，这表明其在统一像素空间图像生成和理解方面的潜力。