论文

JKO-RAG:Wasserstein 自由能梯度流的分布式检索

JKO-RAG: Distributional Retrieval as Wasserstein Free-Energy Gradient Flow

上下文与知识检索增强

摘要

RAG 管道返回段落的 \emph{排名列表}。我们认为这是一种不匹配:下游语言模型以 \emph{set​​} 为条件,而选择问题基本上是几何问题。我们提出 \jko,它将重新排序框架为通过 Jordan--Kinderlehrer--Otto 近端方案在 Wasserstein-2 梯度流下最小化自由能函数 $F(p)=\text{relevance}+\text{entropy}+\text{redundancy}$。基本度量 $C_{ij}=(1-\cos\langle z_i,z_j\rangle)^2$ 对嵌入流形的语义几何进行编码。我们的核心贡献是 \emph{线性响应理论} 解释 \emph{为什么} Wasserstein 几何有帮助:Wasserstein 和 KL 检索图仅在它们的近端 Hessian 上有所不同 - $W^2$ 是密集的和几何感知的,KL 是对角线和几何盲的 - 并且这种差异抑制了查询释义引起的质量传输。该理论产生了一个可证伪的预测:稳定性优势在步长 $h$ 上单调递减。我们通过自由能下降、频率分辨扰动响应、预测的 $h$ 依赖性和经过认证的半径分析来实证验证这一点。引入了四个扩展:\textbf{\nmjko}(学习的地面度量)、\textbf{\bwjko}($W^2$--KL插值)、\textbf{\samjko}($2\times$加速)和\textbf{\dualrank}(OT双势作为置信信号)。在五个 BEIR 基准测试中,\jko\ 在所有五个基准上都优于交叉编码器;决定性的优势是稳健性——换句话说,稳定性提高了 22--38%,泄漏的干扰因素减少了 2 倍。