借我你的眼睛：通过注意力中继进行指令感知文本嵌入

通过对比学习训练的文本嵌入模型学习遵循指令配对数据中的任务指令，而指令调整的LLM已经知道如何遵循它们。我们证明，这种指令跟踪能力可以从LLM转移到基于 Transformer 的嵌入器，而无需任何训练。我们提出了注意力中继，它将LLM产生的注意力权重传递给嵌入器自己的注意力。在来自 Qwen3、Llama 3.1 和 OLMo 3 系列的六种经过指令调整的LLM以及十种广泛使用的、在分词器、大小和池类型方面有所不同的嵌入模型中，Attention Relay 几乎使每一种组合都具有指令感知能力。将该方法分解为多个部分的实验表明，LLM的注意力权重跟踪其后面层中的指令，并且主要来自指令调整。他们还表明，传递这些权重会选择文本中的哪些内容很重要：它使指令询问的文本方面在嵌入中占主导地位，或者恢复平均稀释的方面。