DIVE：通过自限梯度更新嵌入压缩

高维语言模型嵌入会增加存储和搜索成本，而当相关标签稀缺时，有监督压缩器可能会过度拟合。我们提出了 DIVE（隐式视图集成降维），这是一种残余压缩适配器，与自限制铰链损失、几何 蒸馏 和隐式坐标视图上的头向 NT-Xent 共同设计。铰链停止更新满足的排序约束，而密集目标稳定压缩表示；推理时仅保留第一个头。在使用两个 LLM2Vec 主干、五个 BEIR 基准、128d 和 256d 输出以及六个基线的查询不相交评估下，DIVE 是所有五个主要基准上最强的适配器。与无监督压缩器相比，它的性能也优于 PCA 和自动编码器。