Tail-Aware HiFloat4：面向Wan2.2的W4A4训练后量化

摘要

本报告介绍Tail-Aware HiFloat4，这是我们提交给低比特文本到视频生成量化挑战赛的方案。我们的方法将公开的ViDiT-Q训练后量化流水线适配到HiFloat4数值格式下的Wan2.2。我们用W4A4 HiFloat4伪量化对Wan2.2两个transformer模块中的主要线性层进行量化，将数值敏感的边界模块保持高精度，并引入激活尾部感知的百分位校准模块用于构建通道掩码。结合紧凑的PTQ状态恢复，该设计降低了罕见校准离群值的影响，同时保持运行时HiFloat4算术与采样流水线不变。

Tail-Aware HiFloat4：面向Wan2.2的W4A4训练后量化：论文配图 — 图 1：针对 Wan2.2 提出的 Tail-Aware HiFloat4 W4A4 PTQ 系统的流程。校准从 BF16 模型收集激活统计数据，PTQ 构建尾部感知百分位校准通道掩模和紧凑状态，推理恢复这些状态，同时保持基本采样器不变。