在噪声下学习行动：借助噪声环境增强智能体鲁棒性

大语言模型（LLM）的最新进展推动了将LLM作为具备推理、规划与工具使用能力的交互式智能体的广泛部署。尽管在现有基准上表现强劲，此类智能体在部署到真实场景时往往出现明显退化，而真实环境本质上是随机且不完美的。我们认为这一差距源于理想化训练设置与真实交互动态之间的根本错配：当前范式依赖精心整理的任务指令以及稳定、受控良好的环境。为弥合这一差距，我们提出NoisyAgent，一个将环境不完美性显式纳入智能体学习过程的训练框架。我们识别出真实场景中交互噪声的两大来源：用户噪声，刻画用户交互中的歧义与可变性；工具噪声，反映工具执行中的失败与异常。我们通过在训练环境中修改用户交互模式与模拟工具执行结果，将此类扰动引入训练流程。为了在稳定训练的同时促使智能体应对越来越困难的不完美性，噪声仅施加于部分rollout，并随模型适应当前噪声水平而逐步提升难度。大量实验表明，我们的方法在噪声与动态环境下持续提升智能体鲁棒性。我们的分析显示，在噪声条件下训练还能在理想化基准上带来性能提升，这表明受控地暴露于环境噪声有助于形成更具泛化性的推理与决策行为。我们的发现凸显了建模交互不完美性对于弥合智能体训练与真实部署之间差距的重要性。