无能为力的噪音：实验设置如何塑造所报告的噪音的力量

最近的研究表明，在检索增强生成（RAG）系统的输入中添加不相关的文档可以提高问答性能，这种现象被称为“噪音的力量”。这激发了对噪声在信息检索中的作用的研究。在本文中，我们重现了 Cuconasu 等人的主要发现。并评估在扩展实验设置下效果的稳健性。我们首先确认该现象在原始设置下成立，该设置使用较早一代的 LLM、限制性提示和约束解码设置。随后，我们引入了一系列扩展来研究噪声效应的根本原因，检查作者的原始设计选择，包括使用不同的模型、指令提示和宽松的输出长度限制。在这些消融中，噪声功率模式被证明对推理配置高度敏感：它可以在提示公式和解码限制的微小变化下出现、减弱或消失。结合我们的误差分析（显示截断和畸形世代的重大贡献），这种方差表明，在这些实验条件下，原始效果不能被可靠地确认为噪声检索的一般好处。更广泛地说，我们的工作强调了在检索增强生成系统中仔细审查推理设计的重要性。我们的代码可在 https://github.com/ina0105/The-Power-of-Noise-ReProduction 获取。