LLM 代理的统一上下文演进

基于 LLM 的代理可以通过将推理与环境反馈相结合来解决多步骤交互任务，但每个情节都从相同的固定上下文开始，一旦任务结束，沿途发现的任何有用策略都会丢失。现有的方法要么将学习限制在当前任务中，要么将所有经验集中到单个无类型存储中，而不区分知识类型、通过使用跟踪质量或平衡图书馆仍然缺乏的知识。我们引入了统一上下文进化（UCE），这是一个无梯度框架，它将代理体验外化到类型化可进化上下文单元（ECU）的进化库中。 UCE 将经验分解为四种互补类型（记忆、策略、工作流程和技能），每种类型都是根据特定类型条件下的轨迹生成的，在决策时检索，通过重复使用结果进行评分，并在不再有价值时进行修剪。调度模块将每个周期的生成预算分配给库最弱的类型。在两个交互式基准测试中，UCE 将 ALFWorld 成功率从 75.4% 提高到 96.3%，将 WebShop 任务得分从 45.1% 提高到 61.3%，并且累积的库无需再培训即可转移到替代参与者骨干。