LatentGym：具有可控潜在结构的跨任务体验式学习测试平台

我们设想不断学习的代理系统会随着时间的推移变得更加有用：当它们遇到相关任务序列时，它们应该推断出这些任务之间共享的隐藏结构，并用它来改进未来的决策。这种跨任务的体验式学习能力在个性化和交互式辅助等领域至关重要，但现有的训练/评估框架不提供共享的、可控的潜在结构，并且无法衡量智能体是否或为何改进。我们引入 LatentGym：一个可控套件，其中每个环境都是围绕 真值 潜在变量组织的，该变量管理跨任务的结构。我们的构建产生了将探索（代理的行为是否收集有关潜在信息）与开发（代理是否使用其收集的信息）分开的指标。我们展示了我们的实证研究套件，解决了三个问题：前沿模型如何以及为何无法适应相关任务；相关任务序列上的 后训练 是否改善了一般的跨任务适应，以及这些收益来自哪里；以及任务间反馈等设计选择如何塑造训练动态和泛化。总之，这些结果为研究 LLM 代理如何从跨任务的经验中学习以及设计在顺序、个性化和交互设置中更可靠地适应的代理奠定了受控基础。