REIGN：通过集成引导网络翻新嵌入，以实现高效的上下文长度缩放

对长文档进行密集检索的成本很高。 词元级 编码器在序列长度上呈二次方缩放，并且大多数长上下文嵌入模型只能通过架构解决方法或通过拉伸十亿参数 LLM 才能达到 32K 词元。我们提出了 REIGN（带有集成引导网络的翻新嵌入），这是一种经过对比训练的双编码器，它对来自冻结引导网络（GN）的上下文化块嵌入序列而不是原始标记进行操作。 REIGN 针对多块输入，主要用于文档到文档的检索；单块输入保留在 GN 中。将 词元级 处理与文档级推理解耦，并将 GN 嵌入缓存到磁盘，相对于分块 Transformer 微调，将每个文档的训练成本降低了大约四个数量级。我们还发布了一个综合的长文档检索基准，用于长上下文长度的对比训练和评估。通过分布内维基百科基准、LoCo 分布外套件以及真实世界的专利检索案例研究，REIGN 在每个机制中以较小的参数预算匹配密集的长上下文 检索器。配对显着性检验使其在专利任务中与 1.6-4.3 倍大的模型相当，并且在 LoCo 上与 20 倍大模型的误差保持在 0.65 nDCG@10 以内。