dRAE：具有超球形代码的表示自动编码器

在这项工作中，我们的目标是离散化高维视觉表示，以弥合与语言模型的差距——这是一个不小的挑战，因为现有的量化方法遭受码本崩溃，无法在保持语义一致性的同时进行扩展。我们将根本原因确定为度量不匹配：标准欧几里得码本目标从根本上与表示空间的各向异性几何结构不一致，导致码本嵌入具有高方差幅度尺度和不均匀的角度分布，从而阻碍了可扩展性。为了解决这个问题，我们提出了超球形量化（HSQ），它通过角度路由将语义内容与特征量值解耦，防止代码分配受规模而不是意义的支配。由此产生的离散表示自动编码器 (dRAE) 实现了高保真重建，同时保持语义完整性并支持可扩展的码本预算。大量的实验证明，当词汇量扩展到 131{,}072 时，性能得到了一致的提升，同时代码本利用率达到 100\%、训练管道得到简化，并且在理解和生成任务中具有强大的性能。