SCS：用自对比注意力引导改善条件文本嵌入

从大语言模型（LLM）中提取条件文本嵌入是一种有前途的范例，因为它既不需要额外的数据，也不需要微调。现有方法将条件纳入提示中，以指导LLM专注于特定方面并引发条件文本嵌入。然而，仅仅依靠提示通常无法产生高质量的条件文本嵌入，因为它们仍然与一般文本嵌入纠缠在一起，最终降低了它们的质量。为此，我们提出了一种推理时间、即插即用的自对比引导（SCS）方法，该方法构造无条件的通用文本嵌入，并使用它们来细化条件文本嵌入，使它们更加专注于目标条件。具体来说，我们修改注意掩码和位置编码来掩盖条件，从而获得无条件文本嵌入并干预多头自注意计算过程。值得注意的是，我们的方法非常高效，在推理时只需要一次额外的多头自注意力计算。对聚类、语义文本相似性和三元组对齐数据集的大量实验表明，我们的方法可以以免训练和即插即用的方式无缝地提高跨不同LLM的现有基于提示的方法的性能。我们的代码将在https://github.com/zifengcheng/SCS发布