DeepSearch-World：可验证环境中深度搜索代理的 Self-蒸馏

训练使用工具的智能体以根据自己的经验进行改进仍然具有挑战性，因为有监督的 微调 依赖于固定的教师提取轨迹，而稀疏奖励强化学习为长期交互提供了弱监督。我们推出 DeepSearch-Evolve，这是一个基于 DeepSearch-World 的 Web 代理的自 蒸馏 框架，DeepSearch-World 是一个具有可重复搜索和页面阅读工具的确定性和可验证环境。 DeepSearch-World 包含由实体级随机游走构建的 420K 多跳 QA 任务，并支持对自我进化有用的关键代理认知行为，包括进度验证、基于证据的反思和故障恢复。 DeepSearch-Evolve 迭代执行轨迹生成、过滤、数据混合和 微调 以训练更强大的代理。在没有来自功能更强大的模型的 蒸馏 的情况下，DeepSearch-World-9B 与开源代理相比实现了具有竞争力的性能，在 BrowseComp 上达到 31.2%，在 GAIA 上达到 61.5%，在 HotpotQA 上达到 93.4%，这表明可验证的环境可以为长期网络代理实现可扩展的自我进化。我们将发布环境、420K 训练池、验证集、模型和代码，以促进未来自我改进深度搜索代理的研究。