论文
PromptEmbedder：通过双 LLM 软提示实现高效且可转移的文本嵌入
PromptEmbedder: Efficient and Transferable Text Embedding via Dual-LLM Soft Prompting
摘要
大语言模型 (LLM) 在文本嵌入方面表现出了显着的功效，但当前的适应方法（如 LoRA）在计算效率和跨架构可迁移性方面面临着重大瓶颈。每当新的骨干出现时，现有的方法都需要从头开始进行昂贵的再训练。为了解决这个问题，我们提出了 PromptEmbedder，一种新颖的双 LLM 框架，它将嵌入知识与特定主干权重解耦。 PromptEmbedder 利用 Prompting LLM 通过连续松弛的可微生成过程为冻结的 Embedding LLM 生成指令感知软提示，确保对比训练期间的完整梯度流。通过在 Prompting LLM 中本地化特定于任务的知识，适应新架构只需要重新训练轻量级线性对齐矩阵。 MTEB 基准评估表明，PromptEmbedder 通过 LoRA 微调实现了可比的性能，同时将 GPU 内存减少了 40%，并将训练速度提高了 3.7 倍。我们的方法建立了一个可扩展的、与架构无关的范例，用于高效的基于 LLM 的表示学习。