NesTok：用于自回归图像生成的嵌套自对齐一维分词器

一维 (1D) 可变长度视觉标记器通过改变标记数量来实现自适应压缩，允许下游自回归 (AR) 模型使用单个标记器灵活地权衡生成质量和计算成本。然而，基于嵌套 dropout 的现有方法通常无法充分利用分词器的表示能力，导致图像重建和生成的性能不佳。在这项工作中，我们介绍了 NesTok，这是一个专为动态视觉分词器量身定制的嵌套自对齐框架。 NesTok 引入了跨长度训练，联合优化跨 token 长度的重建，同时使用全长序列引导较短的对应序列，使较短的 token 序列能够接近全长序列的重建质量。在 ImageNet 上，NesTok 比标准训练有了显着改进，并实现了 0.98 的 rFID 分数。在下游图像生成方面，它在现有的可变长度自回归图像生成方法中在 ImageNet 256$\times$256 上实现了最先进的 gFID 分数 1.46。代码可在 https://github.com/Jiawei804/NesTok. 获取