共线性衰减：使用异常值衰减训练量化友好的 ViT

低位量化是有效部署视觉 Transformer 的实用途径，但激活异常值使完全量化的部署变得复杂。现有方法要么处理量化后训练，要么在训练期间抑制大的激活；然而，严格限制视觉模型中的异常值可能会导致全精度和量化精度之间的权衡较差。我们认为，训练目标不应简单地抑制异常值，而应控制导致异常值有害的结构性放大。为此，我们引入了共线性衰减（CD），它是 Transformer 块内有序矩阵对的结构正则化器。 CD 会惩罚有害的跨矩阵对齐，并在不改变架构或任务丢失的情况下减轻极端激活。作为一种解耦更新，CD 是非侵入性的，并且引入的训练开销最小。在 ImageNet-1K 预训练、COCO 检测和下游 微调 中，CD 持续提高多个管道的量化精度，同时保持甚至提高全精度性能。最终，我们的结果表明，结构正则化有效地为视觉 Transformer 做好了零推理时间开销的低位部署的准备。