论文
精炼与提纯：面向条件表示学习的正交基优化与零空间去噪
Refine and Purify: Orthogonal Basis Optimization with Null-Space Denoising for Conditional Representation Learning
摘要
条件表示学习旨在为定制化任务提取特定准则下的特征。近期研究将通用特征投影到由LLM生成的文本基所张成的条件特征子空间上以获得条件表示。然而，此类方法存在两个关键局限：对子空间基敏感，且易受子空间间干扰。为应对这些挑战，我们提出OD-CRL，一个集成自适应正交基优化（AOBO）与零空间去噪投影（NSDP）的新框架。具体而言，AOBO通过带基于曲率截断的奇异值分解构建正交语义基。NSDP通过将嵌入投影到无关子空间的零空间上，抑制非目标语义干扰。在定制化聚类、定制化分类和定制化检索任务上开展的大量实验表明，OD-CRL取得了新的最先进性能，并具有出色的泛化能力。
