GEM：连接推理和检索的生成嵌入模型

现代LLM擅长推理和指令遵循，使用户能够表达复杂多样的信息需求。然而，传统的 检索器 在很大程度上依赖于查询和文档之间的表面级匹配，导致用户表达需求的方式与 检索器 解释需求的方式之间的差距越来越大。在本文中，我们提出了 GEM，一种生成嵌入模型，通过显式推理用户意图和相关性标准，通过自身知识来增强检索。 GEM 将生成和嵌入统一在一个模型中：它首先对查询进行推理，然后附加嵌入标记来对丰富的上下文进行编码以供检索。通过对推理密集型和指令跟踪检索任务进行评估，GEM 展示了其推理增强检索的有效性，优于其非推理变体，并使用更大的模型匹配基线。此外，GEM 的生成性质允许通过提示进行测试时计算扩展，以进一步增强检索性能。我们的代码位于：https://anonymous.4open.science/r/GEM。