用于生成友好图像标记的结构化状态空间正则化

图像标记器在现代生成模型中发挥着核心作用，其中潜在空间的结构关键决定下游生成性能。有效潜在表示的一个关键但尚未充分探索的属性是频谱组织，即跨频率分量编码信息的能力。在这项工作中，我们引入了结构化状态空间正则化，这是一种在潜在空间中引入谱结构的原则方法。我们通过重新审视状态空间模型（SSM）作为模仿基函数行为的系统来导出正则化目标。这一观点揭示了 SSM 的隐藏状态被诱导以捕获频率分量，从而产生一种新颖的正则化器，该正则化器强制潜在空间来捕获图像的光谱结构。实验表明，我们的正则化器提高了图像标记化器的生成性能，同时仅对其重建保真度造成最小的损失。