ReverseEOL：通过仅解码器 LLM 中的文本反转改进 无需训练 文本嵌入

大语言模型 (LLM) 的最新进展为生成 无需训练 文本嵌入开辟了新途径。然而，仅解码器 LLM 中的因果注意力会阻止早期标记关注未来的上下文，从而导致有偏差的上下文表示。在这项工作中，我们提出了带有显式单字限制的反向提示（ReverseEOL），这是一种简单而有效的方法，用于增强冻结 LLM 的表示能力。 ReverseEOL 通过从反向输入文本派生的附加反向嵌入来增强标准正向嵌入。由于反转输入会将每个标记暴露在原始顺序中无法访问的上下文中，因此所得到的反向嵌入有效地为原始嵌入提供了补充信息。因此，结合正向和反向嵌入会产生更丰富的最终表示。 STS 和 MTEB 基准的综合实验表明，ReverseEOL 显着提高了具有不同架构和规模的各种 LLM 中现有 无需训练 基线的性能。大量的消融和分析进一步证实了我们逆转机制的必要性。