论文

ManimAgent:面向视觉教育的自进化多模态智能体

ManimAgent: Self-Evolving Multimodal Agents for Visual Education

上下文与知识记忆Agent记忆

摘要

多轮反思让基于大语言模型的智能体能在单个任务内从失败恢复,但每个任务仍是孤立episode:一个任务上多轮反思学到的教训在下一个任务开始前被丢弃。我们在代码生成任务上研究该差距:从科学论文的某节出发,智能体用开源Manim库写Python渲染数学动画。我们提出ManimAgent:自进化多模态智能体——通过完全从自身任务流中成长的双通道情节记忆库跨任务携带反思经验——无权重更新、无人工种子。每次动画收敛后,视觉语言模型为渲染的关键帧打分;所得信号填入正面通道M+(存成功理由为软参照示例)与负面通道M−(存经证实的失败模式为硬已知陷阱)。在固定探针评估中对照无记忆、等预算检索增强生成与洗牌记忆基线:盲评人类Pass@1随记忆增长上升、反思轮数下降。

ManimAgent:面向视觉教育的自进化多模态智能体:论文配图
图 2:ManimAgent 使用双通道跨任务内存关闭 VLM 引导的修复循环。视觉审阅者使用分数 u⁡(t)u(t) 进行自动通过和修订控制,而选定的分​​数 u*u^{\ast} 和经过验证的改进转换分别控制成功和失败内存写入。