用于特征上采样的加权反向卷积

预训练的视觉基础模型（VFM）提供了强大的语义表示，但它们的补丁级特征本质上是粗糙的，限制了它们在需要细粒度定位、密集预测和逐点对应的任务上的有效性。在这项工作中，我们从 \textbf{\textit{逆问题}} 的角度重新审视 VFM 的特征上采样，并提出加权反向卷积（WRC），这是一种用于致密化高级视觉描述符的空间自适应逆算子。具体来说，我们将特征上采样制定为加权吉洪诺夫正则化最小二乘问题，其中空间变化的权重调节每个空间位置的数据保真度和先验强度。这使得 WRC 能够使重建适应空间变化的特征特征，从而保留关键结构，同时减轻过度平滑。此外，WRC 保留了高效、完全可微的封闭式 FFT 解决方案，使其成为实用的嵌入式上采样算子。 WRC 集成到轻量级自监督致密化框架中，持续提高各种下游基准的密集特征质量，包括分割、深度估计、视频对象分割、对象发现和关键点对应，同时保持高计算效率。