ESP：以嵌入子空间分区支持动态多目标检索

现代工业推荐系统必须跨竞争目标进行优化，平衡语义相关性与业务指标（例如参与度和收入）。虽然双编码器因其效率而在大规模检索中占据主导地位，但它们将这些异构信号折叠到单个静态嵌入空间中。这种设计造成了一个根本性的限制：一旦接受训练，检索器就无法适应服务时目标优先级的变化，而无需重新训练。此外，具有多目标损失的联合优化通常会引起目标之间的干扰，导致次优权衡。我们提出了嵌入子空间分区（ESP），这是一种检索框架，它将嵌入分解为任务感知子空间，并用每个子空间相似性的加权和替换单点积，其权重在服务时可调。对于 Transformer 双编码器，ESP 使用模型的本机序列结束标记作为分段分隔符，并具有分段感知注意屏蔽和位置编码重置，以保证单次前向传递中的子空间隔离。服务是通过 GPU 加速的穷举 kNN 在一个串联索引上执行的，从而无需多头方法所需的每个目标的近似最近邻 (ANN) 基础设施。我们根据 MS MARCO 构建的开源基准评估 ESP。单个 ESP 模型追踪广泛的帕累托前沿，在不同的操作点上始终优于强大的多任务基线。在 LinkedIn 的职位匹配平台（每周超过 7000 万用户）中，ESP 实现了动态检索重新配置，并显着提升了关键业务指标。