减轻上下文干扰，实现可靠、高效的搜索代理

最近的研究使 大语言模型 (LLM) 作为多轮搜索代理能够迭代检索和生成输出，直到解决复杂的任务。然而，多轮搜索代理的上下文冗长且复杂。例如，每次检索到的文档集都将不可避免地引入不相关的信息，这些信息会分散 LLM 的注意力，即 \textit{上下文干扰}，从而潜在地阻碍搜索代理的可靠性和效率。因此，我们对多轮搜索代理中的上下文干扰进行了系统的研究，重点研究i）搜索代理上下文的哪些部分将导致上下文干扰，ii）如何细化搜索代理的上下文以减轻干扰，以及iii）可以将上下文细化纳入搜索代理训练中以产生进一步的改进。我们发现干扰主要来自最新检索的文档。基于探索的发现，我们然后引入基于蒸馏的上下文细化器来动态减轻多轮搜索代理的上下文干扰。最后，我们验证了将上下文细化纳入搜索代理的 RL 训练流程中可以显着提高可靠性和效率。这项研究强调了减轻搜索代理的上下文干扰的重要性，激发了人工智能代理“细化上下文然后生成”的新范式。