Combee：面向自改进语言模型智能体的提示学习扩展

提示学习的最新进展使大语言模型智能体能够在不改变参数的情况下，从推理时上下文中获取与任务相关的知识。例如，现有方法（如ACE或GEPA）可以基于先前的智能体运行记录学习系统提示以提升准确率。然而，这些方法主要面向单智能体或低并行度设置。这从根本上限制了它们从大量已收集的智能体轨迹中高效学习的能力。并行运行提示学习以适应从大量智能体轨迹或并行智能体执行中学习的日益增长趋势，将是高效且有益的。然而在缺乏有原则的扩展策略时，现有方法在高并行度下会出现质量退化。为同时提升提示学习的效率与质量，我们提出Combee，一个为自改进智能体扩展并行提示学习的新框架。Combee加速了学习，并支持并行运行大量智能体，同时从其聚合轨迹中学习而不发生质量退化。为此，Combee利用并行扫描（parallel scans）并采用增强的混洗机制；Combee还引入动态批量大小控制器以平衡质量与延迟。在AppWorld、Terminal-Bench、Formula和FiNER上的评估表明，Combee相比此前方法实现最高17倍加速，同时准确率相当或更优，成本相同。