通过并行搜索与显式合并扩展检索增强推理

深度搜索智能体已被证明能有效增强LLM，其方式是在多步推理过程中检索外部知识。然而，现有方法通常在每个推理步骤生成单个查询用于检索，限制了信息覆盖面并引入高噪声。这可能导致搜索期间信噪比（SNR）偏低，降低推理准确性并产生不必要的推理步骤。本文提出MultiSearch，一个基于强化学习（RL）的框架，通过多查询检索与对检索信息的显式合并来解决这些局限。在每个推理步骤，MultiSearch从多个视角生成查询并并行检索外部信息，扩大相关信息的覆盖面并降低对任何单一检索结果的依赖。随后，智能体在合并过程中整合并精炼检索到的信息，提高信噪比并保障更准确的推理。此外，我们提出一个带多过程奖励设计的强化学习框架，同时优化智能体的多查询检索与信息整合能力。在七个基准上的大量实验表明，MultiSearch优于基线方法，提升了检索的信噪比并改进了问答任务的推理性能。