CLaaS：持续学习即服务，实现样本高效在线学习

部署的 大语言模型 代理必须适应动态环境中的分布变化。理想情况下，可以根据代理积累的经验进行适应，并在转移到未来任务的同时保留先前的能力。但是，每个场景只能对代理操作和环境转换进行一次采样，因为现实世界的环境无法轻松重置。为此，我们研究了一种体验式在线持续学习环境，其中代理从一系列场景中学习。我们提出持续学习即服务 (CLaaS)，这是一个使代理能够在部署过程中进行改进的系统，抽象在聊天 API 后面。为了提高样本效率，CLaaS 将 rollout 存储在体验重放缓冲区中，以便在异步训练期间重用梯度。我们在对抗性任务上评估了 CLaaS，证明参数更新可以带来比上下文学习更好的前向迁移和更少的遗忘，而重放是提高样本效率的关键选择。