EvoEmbedding：长上下文检索和代理记忆的可进化表示

现有的嵌入模型本质上是静态的：它们对文本片段进行隔离编码，忽略其周围的上下文和时间顺序。本文介绍了 EvoEmbedding，这是一种新颖的嵌入模型，可以生成用于检索的可进化表示。它专为长上下文场景量身定制，其中信息是动态的、连续的，并且需要连续的状态跟踪。我们的设计很简单：EvoEmbedding 在顺序处理输入时维护持续更新的潜在内存，并将其与原始内容一起使用以共同生成可进化的嵌入。因此，对于相同的查询，我们的模型会根据不断变化的上下文调整其表示来检索不同的目标，这超出了静态语义搜索的范围。为了使模型具备这种功能，我们构建了 EvoTrain-180K，这是一个用于联合优化潜在记忆和检索的多样化数据集。此外，我们引入了一个内存队列来防止循环编码期间的表示崩溃，同时还引入了分段批处理技术来解决显着的长度差异并将训练加速 3.8$\times$。大量实验表明，我们的模型不仅在一系列长上下文检索基准上优于更大规模的专家（例如 Qwen3-Embedding-8B 和 KaLM-Embedding-Gemma3-12B），而且还可以很好地推广到上下文比其训练窗口长 10$\times$ 的下游任务（例如个性化）。值得注意的是，EvoEmbedding 无缝集成到代理工作流程中以提高性能。例如，配备我们模型的简单 RAG 管道超越了专用代理内存系统。项目页面：https://clare-nie.github.io/EvoEmbedding/。