ASCENT：通过已验证经验的自蒸馏，在线训练长时域智能体

大语言模型（LLM）智能体通过多个推理—行动回合解决长时域任务，通常仅在任务终止时获得一次验证信号。部署后的智能体面对一系列相关任务，其执行轨迹因而成为可用于改进的天然资源。上下文内适应方法把反思、记忆或技能保存为文本，复用效果取决于能否检索到正确经验，以及冻结策略能否执行这些经验。我们研究在线Agentic测试时训练（OaTTT），即在部署期间用智能体自己的执行轨迹训练LLM权重。智能体对任务流只遍历一次，每项任务只执行一次；该次执行轨迹及其验证结果是唯一的学习信号，权重更新在后续任务之间持续保留。直接模仿或强化单次尝试所生成的token会使策略不稳定。我们提出ASCENT（Agentic Self-distillation for Cross-task EvolutioN at Test-time），转而对已验证经验进行自蒸馏。LLM的稳定版本，也就是冻结的初始副本，将已验证轨迹作为特权信息，利用事后信息预测该轨迹各位置的下一token分布。把这些分布蒸馏到持续保留的LoRA快速权重中，可以更新智能体以服务后续任务，无需外部参考解或更强的教师模型。进一步移除无效动作回合后，ASCENT对增强的特权经验进行蒸馏，提高执行效率。我们刻画其总体分布目标，以及稀疏结果筛选的局限。在不同模型规模的ALFWorld、WebShop和AppWorld实验中，ASCENT随着经验积累提高任务成功率和交互效率，优于在线适应方法，并迁移到留出场景。这表明，智能体可以把已验证经验巩固进权重，而无需独立训练阶段或记忆检索。项目页面：https://artificer-ai-lab.github.io/ASCENT