论文

BMFA:边界少数自由能自适应筛选

BMFA: Boundary-Minority Free-Energy Adaptive Screening

模型优化稀疏化

摘要

仅当粗略标记摘要保留指数注意力聚合所需的证据时,Vision Transformer 才能有效地处理空间冗余标记。我们发现了边界少数低估失败,其中空间较小的高响应区域贡献了占主导地位的吉布斯质量,同时对块均值几乎不可见。我们通过归一化对数平均指数自由能和平均总结之间的差异来形式化失败,证明少数吉布斯质量可以在其空间支持和平均贡献消失时保持不消失,并描述有限阶矩校正的局限性。基于结果分析,我们引入了边界少数自由能自适应筛选(BMFA),它构建了分层分段常数近似,并根据可计算的局部自由能下限增量递归地细化块。受控合成测试、COCO 和 LVIS 诊断探针、闭环 DeiT-Tiny 评估和 ImageNet-1K 实验建立了一致的证据链。 BMFA 在叶比为 5.794% 时将平均综合低估值从 2.582 降低到 0.261,将 COCO 图像边缘平均间隙从 2.254 降低到 0.526,并在叶比为 55.861% 时保留 71.520% ImageNet Top-1 精度。当前的原型在完整的 QK 计算后评估选择质量;因此,报告的叶比表征了表示粒度,而不是经过验证的稀疏内核加速。