DeepStress：压力测试深度搜索代理

虽然搜索代理在多步骤问答方面表现出了令人印象深刻的能力，但它们对低质量证据的鲁棒性仍有待探索。这种现象在实际基准测试中很少发生，但可能会导致现实应用程序中的严重失败。因此，在本研究中，我们提出了 DeepStress，这是一种压力测试框架，通过用受控的合成环境替换搜索代理的检索模块来控制质疑证据的频率。我们使用这个框架来控制可能影响文档可靠性的三个维度：可信度、相关性和事实性。在 HotpotQA 和 BrowseCompPlus 上测试多个搜索代理，我们证明代理在处理不可靠信息的能力方面表现出巨大差异，并提出新的指标，以更好地记录系统结果以及冲突的参数和检索到的知识之间的交互。