通过测试时间 LLM 指导进行任务自适应嵌入细化

我们探索了 LLM 引导的查询细化范例的有效性，以将嵌入模型的可用性扩展到具有挑战性的零样本搜索和分类任务。我们的方法使用一小组文档上的生成式 LLM 的反馈来细化用户查询的嵌入表示，使嵌入能够实时适应目标任务。我们使用最先进的文本嵌入模型在各种具有挑战性的搜索和分类基准上进行了广泛的实验。实证结果表明，LLM 引导的查询细化在所有模型和数据集中产生一致的收益，在文献搜索、意图检测、关键点匹配和细致的查询指令跟踪方面相对改进高达 +25%。细化的查询提高了排名质量，并在整个语料库中产生更清晰的二进制分离，使嵌入空间能够更好地反映每个临时用户查询的细微差别、特定于任务的约束。重要的是，这扩大了可以有效部署嵌入模型的实际设置范围，当昂贵的 LLM 管道在语料库规模上不可行时，它们成为令人信服的替代方案。我们在 https://github.com/IBM/task-aware-embedding-refinement 上发布了可重复性的实验代码。