HAC：用于零样本 VQA 的 CLIP 参数高效双曲线自适应

表示学习的最新进展表明，双曲几何可以为 CLIP 模型中使用的欧几里得嵌入提供更具表现力的替代方案，捕获层次结构并导致组织更好的表示。然而，当前的双曲线 CLIP 变体完全是从头开始训练的，这在计算上是昂贵的并且是资源密集型的。在这项工作中，我们提出了 HAC（CLIP 的双曲适应），这是一种参数高效的框架，使预训练的 CLIP 模型能够通过轻量级 微调 转换到双曲空间。我们将 HAC 应用于视觉问答 (VQA)，其中模型必须解释视觉元素并将其与文本查询保持一致。值得注意的是，HAC 的训练是在与任何 VQA 基准不重叠的数据集上进行的，从而形成严格的零样本评估范例，强调了 HAC 与任务无关的适应性。我们通过涵盖通用、推理和 OCR 类别的各种 VQA 基准套件来评估 HAC。 HAC-S（小）和 HAC-B（中）始终超越欧几里得基线和之前的双曲线方法，HAC-B 在推理密集型任务上比 CLIP-B 平均提高了 +1.9 分。我们的代码位于 https://github.com/fdibiton/HAC