论文
SOLAR:面向终身学习与持续适应的自优化开放式自主智能体
SOLAR: A Self-Optimizing Open-Ended Autonomous Agent for Lifelong Learning and Continual Adaptation
摘要
尽管大语言模型(LLM)取得了显著成功,它们在动态的真实世界环境中部署时仍面临瓶颈,主要挑战在于概念漂移(concept drift)和基于梯度的适应所需的高昂成本。传统微调(FT)难以在适应非平稳数据流的同时,既不引发灾难性遗忘(catastrophic forgetting),也不需要大量人工数据整理。为在流式与持续学习范式下解决这些局限,我们提出自优化终身自主推理器(SOLAR),它是一个开放式自主智能体,利用参数级元学习进行自我改进,将模型权重本身视为可供探索的环境。它通过巩固常识知识之上的强先验来启动这一过程,从而使其在迁移学习方面表现高效。通过采用多层级强化学习方法,SOLAR自主发现适应策略,实现对未见领域的高效测试时适应。关键在于,SOLAR维护一个不断演化的有效修改策略知识库,隐式地充当情景记忆缓冲区,以平衡可塑性(对新任务的适应)与稳定性(对元知识的保持)。实验表明,SOLAR在常识、数学、医学、编程、社会和逻辑推理任务上优于强基线,标志着向能够在演化环境中进行终身适应的自主智能体迈出了重要一步。
