HeSS：VGGT 中稀疏性重新分布的头部敏感度得分

Visual Geometry Grounded Transformer (VGGT) 具有先进的 3D 视觉，但其全局注意力层受到二次计算成本的影响，阻碍了可扩展性。已经提出了几种基于稀疏化的加速技术来缓解这个问题，但它们通常会遭受严重的精度下降。我们假设精度下降源于头稀疏敏感性的异质性，因为现有方法在所有头上应用统一的稀疏模式。受这一假设的启发，我们提出了一种两级稀疏化流程，可以有效地量化和利用头向稀疏化敏感性。在第一阶段，我们使用一种新颖的指标——头部敏感性得分（HeSS）来测量头部稀疏化敏感性，该指标在小校准集上相对于两个不同的误差项来近似 Hessian。在推理阶段，我们执行 HeSS 引导的稀疏化，利用预先计算的 HeSS 重新分配总注意力预算，将更密集的注意力分配给敏感的头部，将稀疏的注意力分配给更鲁棒的头部。我们证明 HeSS 有效地捕获了头部稀疏化敏感性，并凭经验证实全局注意力层中的注意力头表现出异质敏感性特征。大量的实验进一步表明，我们的方法有效地减轻了高稀疏度下的性能下降，在不同的稀疏度水平上表现出强大的鲁棒性。代码可在 https://github.com/libary753/HeSS 获取。