全球通证与补丁通证的相互增强：从理论到实践

准确有效的离散图像标记化对于长图像序列处理至关重要。然而，当前的方法严格以固定速率压缩所有内容，忽略了图像的可变信息密度并导致冗余或信息丢失。受信息熵的启发，我们提出了 TaTok，一个有理论基础的自适应图像标记化框架。我们严格识别现有方法中的两个关键缺点：仅使用补丁标记重建图像时的信息不足，以及补丁标记之间的信息冗余。为了解决这些问题，我们引入了对补丁词元之间的互信息进行建模的全局词元，以及基于累积条件熵的动态词元过滤（DTF）算法以消除冗余。实验证实了 TaTok 的最先进性能，提供 1.3 倍的 gFID 改进和 8.7 倍的推理加速。通过根据信息丰富度分配词元，TaTok 可以实现更压缩但更准确的图像词元化，为未来的研究提供有价值的见解。