论文
拥挤的嵌入空间:检索增强代理中紧急边缘化的平均场机制
The Crowded Embedding Space: A Mean-Field Mechanism for Emergent Marginalization in Retrieval-Augmented Agents
摘要
检索增强生成代理依赖于检索作为基础,但通常是在逐个查询的基础上进行评估。这隔离了共享嵌入空间中几何耦合的交互。例如,我们表明,服务多数人兴趣(例如,通用“犯罪”电影)所需的高文档密度可能会在几何上过度拥挤语义相似的少数群体(例如“黑色电影”)的检索邻域,从而有效地将少数内容从 top-$k$ 结果中排除。我们引入了一个正式的框架来分析密集检索中的此类目标冲突如何导致基本性能限制和空间拥挤固有的新兴公平问题。在我们的静态分析中,我们证明,对于固定的嵌入空间,随着多数目标密度的增加,少数用户目标的性能会遭受灾难性的崩溃,从而发生相变。然后,我们将其扩展到动态模型,并推导出一个非线性 Fokker-Planck 方程,该方程在代理更新文档嵌入以最大化检索准确性时控制文档嵌入的演变。我们的分析表明,这种本地相关性目标引发了一种新兴的全球机制,系统性地边缘化少数群体的利益。我们证明,这些目标驱动系统自组织成一个专门为多数人利益服务的状态。这些结果为理解检索增强代理中的关键证据关联失效模式提供了理论基础。