Hyperagents

自我改进的AI系统旨在通过学习改进自身的学习与问题求解过程，来减少对人工工程介入的依赖。现有的自我改进方法依赖固定的、人工设计的元层机制，从根本上限制了此类系统的改进速度。Darwin Gödel Machine（DGM）通过反复生成并评估自我修改的变体，展示了编码领域中的开放式自我改进。由于评估与自我修改本身都是编码任务，编码能力的提升可以转化为自我改进能力的提升。然而，这种对齐关系在编码领域之外并不普遍成立。我们提出hyperagents，一种自指式智能体，它将任务智能体（求解目标任务）与元智能体（修改自身和任务智能体）整合进单个可编辑程序。关键在于，元层修改过程本身也是可编辑的，从而实现元认知式自我修改，不仅改进任务求解行为，也改进生成未来改进的机制。我们通过扩展DGM实例化该框架，创建了DGM-Hyperagents（DGM-H），消除了任务表现与自我修改技能之间领域特定对齐的假设，从而有潜力在任意可计算任务上支持自我加速的进展。在多个领域上，DGM-H随时间持续改进性能，优于没有自我改进或开放式探索的基线，也优于先前的自我改进系统。此外，DGM-H还改进了其生成新智能体的过程（例如持久记忆、性能追踪），这些元层改进可跨领域迁移并跨运行累积。DGM-Hyperagents让我们得以一窥开放式AI系统的样貌：它们不仅搜索更好的解决方案，还持续改进其“如何改进”的搜索方式。