论文
GEMS:具有记忆和技能的代理本机多模式生成
GEMS: Agent-Native Multimodal Generation with Memory and Skills
摘要
最近的多模式生成模型在通用生成任务上取得了显着的进步,但仍然在处理复杂的指令和专门的下游任务方面遇到困难。受到 Claude Code 等先进代理框架成功的启发,我们提出了 \textbf{GEMS} (具有 \textbf{M}emory 和 \textbf{S}kills 的代理原生多模态 \textbf{GE}neration),这是一个超越基础模型在一般任务和下游任务上的固有限制的框架。 GEMS 基于三个核心组件构建。 Agent Loop引入了结构化的多代理框架,通过闭环优化迭代地提高生成质量。Agent记忆提供持久的轨迹级记忆,可分层存储事实状态和压缩的经验摘要,从而实现优化过程的全局视图,同时减少冗余。 Agent Skill 通过按需加载提供了可扩展的特定领域专业知识集合,使系统能够有效处理不同的下游应用程序。在五个主流任务和四个下游任务中,在多个生成后端上进行评估,GEMS 始终实现了显着的性能提升。最值得注意的是,它使轻量级 6B 模型 Z-Image-Turbo 在 GenEval2 上超越了最先进的 Nano Banana 2,证明了代理工具在将模型功能扩展到超出其原始限制方面的有效性。