TR-PTQ：Transformer非线性算子的整数化训练后量化

训练后量化 (PTQ) 可实现高效部署，但由于非线性层，Transformer架构仍然难以量化。虽然现有方法将精度损失归因于数值精度不足，通常需要浮点回退，但我们证明退化实际上是由特定的结构误差源驱动的。我们发现归一化层中学习的尺度参数和 GELU 中的复合近似是主要的误差来源，而 SoftMax 对于激进的量化仍然具有固有的鲁棒性。为了解决这些瓶颈，我们引入了 TR-PTQ，这是一种使用共享泰勒区域 (TR) 指数和对数基元的统一整数公式。这种方法允许通过标准整数运算完全在对数域中执行计算量大的运算，包括除法和平方根。结合对 LayerNorm 参数的免校准、异常值感知优化，我们的方法消除了对非线性浮点硬件单元的需求，实现了低于 1.5\% 视觉和语言基准的绝对准确度下降。