提前退出愿景的摊销精度量化 Transformer

Vision Transformer (ViTs) 在视觉任务中实现了强大的性能，但其低精度早期退出的部署仍然脆弱。现有的量化方法假设静态全深度执行，当退出决策受到量化噪声干扰时，它们会变得不稳定，量化噪声会放大动态推理路径上的错误。在本文中，我们介绍了摊销精度量化（APQ），这是一种利用感知的公式，可以考虑分层随机暴露于量化噪声并揭示深度精度权衡。在 APQ 的基础上，我们提出了具有早期退出功能的相互自适应量化（MAQEE），这是一种双层框架，可在明确的风险控制下联合优化退出阈值和位宽，以提高推理稳定性。 MAQEE 在准确度与效率的权衡中建立了优越的帕累托前沿，在分类、检测和分割任务中，在保持准确度的同时，将 BOP 降低高达 95%，并比强基线高出高达 20%。