通过多前缀嵌入改进长上下文检索

长上下文检索暴露了一种张力：单向量嵌入会丢失细粒度的细节，而 词元级 多向量方法会产生令人望而却步的存储空间。我们提出了多前缀嵌入（MPE），它将文档划分为由 EOS 词元分隔的块，在单个因果前向传递中对完整序列进行编码，并在每个前缀边界提取一个嵌入。 MPE 保留跨块上下文，启用块级 MaxSim 匹配，并且仅使用文档级相关性标签进行训练。 MLDR-en、BrowseComp-Plus 和 LongEmbed 上的实验表明，MPE 与单向量、独立块和多向量基线竞争或优于单向量、独立块和多向量基线，同时提供用于定位证据块的自然源归因机制。