RICE：仅用上下文示例构建大语言模型稠密检索表示

将仅解码器的大语言模型 (LLM) 转变为强密集检索器通常需要某种形式的检索器训练。在本文中，我们询问是否可以提示大语言模型在仅给出几个上下文示例的情况下为密集检索生成有效的表示。为了回答这个问题，我们引入了 RICE（上下文示例中的表示），这是一种简单的“免训练”方法，可以从大语言模型中提取高质量的密集表示。为此，RICE 以为查询和文档编码提供共享上下文的示例为 LLM 条件。我们的结果表明，RICE 嵌入可以显着提高基于提示的 LLM 嵌入的准确性，将其确立为构建不需要训练的基于 LLM 的密集检索器的简单方法。我们在 https://github.com/nourj98/RICE. 发布我们的代码