论文
GramLoop:用于稳健密集预测的 无需训练 Gram 门控重放
GramLoop: Training-Free Gram-Gated Replay for Robust Dense Prediction
摘要
我们的目标是通过在视觉主干内添加推理计算来改进分布偏移下的冻结 DINOv3 密集预测模型,而不改变模型权重、任务适配器或预测头。挑战在于,重复的 Transformer 块计算必须细化密集特征,而不破坏 DINOv3 用于保留空间结构的成对补丁关系。我们引入了 GramLoop,一个 无需训练 框架,它重播一个短的 Transformer 窗口,并通过最后层余弦-Gram 一致性来控制每个重播。每个提议都通过冻结后缀传播,根据标准 DINOv3 轨迹进行测量,并通过重播窗口端点处的补丁门接受。在损坏、扰动和自然偏移下的对象检测和语义分割中,GramLoop 在配对的 DINOv3 基线上改进了所有五个偏移基准。在 COCO-O 上,它将 mAP 提高了 +0.252,有效鲁棒性提高了 +0.250,同时保持了干净的 ADE20K 性能。代码将在 https://github.com/cheyan9/GramLoop 发布。