论文
缩放表示多样性：视觉基础的调制注意力和重构正则化
Scaling Representation Diversity: Modulated Attention and Reconstructive Regularization for Visual Grounding
摘要
引用表达理解 (REC) 通常在特定于数据集的 微调 下进行研究，从而产生跨数据集泛化有限的专业模型。在这项工作中，我们从统一开放词汇基础的角度重新审视 REC，并将表示退化视为扩展单一通才模型的关键障碍。为了保持表示多样性，我们提出了一个整体数据模型协同设计框架。在架构上，我们引入了用于高效 词元级 视觉语言对齐的调制注意力对比头 (mACH) 和文本条件 JEPA 辅助流，该辅助流提供互补梯度支持以保留对齐活动表示，而无需推理开销。在数据方面，我们引入了Objects365-Caption，通过上下文感知的引用表达式丰富了Objects365，以实现大规模语言监督。我们进一步提供了理论分析，表明互补梯度子空间保留了对齐能力，从而保持了尺度表示多样性。大量实验表明，我们的单检查点框架在标准 REC 基准上实现了极具竞争力的性能，同时在异构视觉定位数据集上表现出强大的泛化能力，而无需针对特定基准进行调整。