检索引导的微调作为噪声估计：风险界限和架构分析

检索引导微调（RAG-FT）将检索到的数据直接纳入训练目标，但训练期间噪声检索的统计结果在理论上仍然没有得到充分表征。我们通过将 RAG-FT 建模为多任务线性回归框架中的估计问题来研究这个问题，使用 OLS 代理进行单层线性自注意力以获得有限样本风险界限。在同方差检索噪声下，我们表明检索失败随着相对于噪声的任务分离而呈指数衰减，并推导出明确的有限样本条件，在该条件下，RAG-FT 比仅目标和全语料库训练的风险更低。然后，我们引入了距离比例噪声（DPN）模型，其中检索质量随着排名而降低，并在相同的检索过程下比较两个估计器：OLS 代理和线性自注意力的字面、均匀权重前向传递。我们证明，即使在精确检索下，注意力估计器的偏差也会发散为 $θ(n^{2q})$，而对于每个噪声指数 $q>0$，OLS 风险仍然为 $θ(d/n)$。这些结果发现不稳定性不在于噪声检索本身，而在于文字 LSA 前向传递的固定、未加权聚合，通过可靠性重新加权凭经验消除了这种不稳定性。我们通过直接模拟 DPN 模型来验证预测的速率分离。