从最终工件到轨迹：基于证据的长格式生成的回顾过程监督

轨迹数据对于训练 大语言模型 以提高代理能力变得越来越重要。与编码或数学等可验证领域不同，扩展开放式任务的轨迹数据要困难得多，因为这些任务缺乏单一的 真值 并且注释或验证的成本很高。在本文中，我们提出了RetroGen，一种自我改进的追溯过程监督框架。我们的主要观察结果是，尽管专家轨迹稀缺，但 预训练 数据中大量存在高质量的最终工件，例如文献综述、分析报告和法律判决，并且可以将其视为产生它们的证据寻求过程的压缩痕迹。 RetroGen 根据专家工件重建候选潜在轨迹，根据工件和支持证据验证它们，并根据自己的成功重建数据训练模型，而不需要来自更强模型的轨迹数据。实验表明，RetroGen 改善了基础、忠实综合和长篇证据寻求代理任务。