基于嵌入的上下文提示训练，用于增强 LLM 作为文本编码器

大语言模型 (LLM) 已被广泛探索用于嵌入生成。虽然最近的研究表明，上下文学习（ICL）通过预先考虑一些与任务相关的演示，有效地增强了 LLM 的表示能力，但由于序列长度的增加，它会导致大量的词元开销。在这项工作中，我们提出了 EPIC，一种新颖的基于嵌入的上下文提示训练策略，它利用 ICL 生成高质量的嵌入，同时减少训练和推理过程中的计算负担。这种方法用相应的连续嵌入取代了离散文本演示，这不仅鼓励 LLM 在对比学习期间对齐语义相关的文本对，而且还要求模型将演示嵌入解释为上下文提示的一部分。因此，经过 EPIC 训练的模型无论在推理时是否有上下文提示，都可以实现出色的嵌入性能。综合实验表明，我们的方法在 MTEB 基准上建立了新的最先进结果，超越了仅根据公开检索数据训练的前沿模型。广泛的消融研究进一步验证了我们机制的有效性和必要性。