OpenSkill：面向LLM智能体的开放世界自演化

自我进化的智能体需要在部署后进行适应，但现有的方法假设有一个可用的学习循环，例如策划的技能、成功的轨迹或验证者信号。真正的开放世界部署可能不提供这些，仅提供任务提示。在这项工作中，我们研究开放世界的自我进化，其中代理必须使用开放世界资源但没有目标任务监督从头开始构建其技能和自己的验证信号。我们提出了 OpenSkill，一个引导这个循环的框架：它从文档、存储库和网络中获取基础知识和验证锚点，将它们综合成可转移的技能，并根据基于锚点而不是目标答案的自建虚拟任务来完善这些技能。因此，开放世界既提供了要学习的知识，又提供了一个独立于监督的实践环境，并为最终评估保留了目标任务监督。在三个基准测试和两个目标代理中，OpenSkill 获得了最佳的自动化通过率，同时满足无监督约束。分析显示，它的技能可以在模型之间转移，而无需针对特定模型进行调整，并且其自建验证器与真实结果保持一致，尽管从未访问过它们。