REZE：域自适应文本嵌入预微调的表示正则化

最近的文本嵌入模型通常通过对分散的异构任务的简单集合进行对比预微调（PFT）来适应专门领域。然而，这种方法通常会引入任务引起的偏差以及领域知识，导致不受控制的表示变化，从而扭曲预训练的嵌入几何形状并导致性能大幅下降。为了解决这个问题，我们提出了 REZE，一种表示正则化框架，可以在嵌入预微调期间显式控制表示偏移。 REZE 对锚定正对的关系进行操作，并将它们分解到特征空间中。然后，它沿着每个特征分量测量任务分散，以识别任务变异方向，并应用自适应软收缩来抑制任务引起的噪声，同时保留任务不变的语义结构，而无需推理时间开销。跨多个嵌入主干和专门基准的实验表明，REZE 在大多数设置中优于标准预微调和面向各向同性的事后正则化，在现有 PFT 变体崩溃时保持稳定。嵌入空间分析进一步证实 REZE 引起与原始嵌入流形一致的受控移位，强调表示移位控制是异构监督下鲁棒嵌入预微调的关键原则。