MoETok以稀疏专家路由区分视觉token的语义与细节角色

现代视觉分词器旨在保留细粒度的视觉细节，同时学习高级语义表示以供下游生成和理解。基于查询的一维视觉分词器将图像编码为灵活的潜在序列，但单个可学习查询如何收集和编码图像信息仍然知之甚少。我们发现这些查询在语义监督下自发地发挥互补作用：一小部分内容查询捕获高级语义信息，而更大的一组细节查询保留细粒度的视觉细节以供重建。为了使 token 处理适应这些异构角色，我们引入了 MoETok，这是一种一维视觉分词器，可通过稀疏激活的专家来路由 token。与重建和语义目标联合优化，路由器学习适合每个 token 表示的角色专用处理路径。在模型规模和 token 预算方面，MoETok 在监督条件和实际激活计算量匹配时，相比稠密分词器，持续改善重建、语义表示和自回归生成。在 ImageNet 上，它将强大的重建和语义表示与 1D 分词器系列中最先进的类条件生成相结合。我们在统一的自回归模型中进一步大规模验证 MoETok，该模型以预测下一个 token 的交叉熵为目标，联合训练理解和生成任务。由此产生的模型将有竞争力的视觉理解与统一离散模型中最先进的生成相结合，在 DPG-Bench (87.61)、GenEval2 (40.04 GM) 和 WISE (0.49) 等基准上匹配或超越基于扩散的模型，例如 BAGEL 和 Qwen-Image。