论文

Designer-RSI:从用户流量中演化程序性记忆的Agentic图形设计

Designer-RSI: Evolving Procedural Memory from User Traffic for Agentic Graphic Design

上下文与知识智能体系统记忆Agent SkillsAgent记忆

摘要

专业图形设计是一项长程Agentic任务:结构化、可编辑的产物源自大量相互依赖的操作,而结果却没有可靠的程序化神谕。我们提出一个持续适配框架:冻结的前沿模型通过230多个工具操作专业设计软件,同时一个由自然语言技能构成的外部程序性记忆从经验中积累并精炼可复用的设计流程。该记忆通过为反复出现且未被覆盖的子任务获取新流程而变宽,通过依据流程自身成功与失败的执行进行修订而变深;匹配回放门只接受能修复失败且不使已观测成功退化的更改。在1406条真实用户需求与1869条自动评分轨迹上的五轮迭代——无权重更新、无人工标注——使技能库从76个文档衍生技能增长到139个,将Claude-Sonnet-4上的GenEval2执行成功率从72.7%提升至99.3%(生成质量+11.99分),并在四个专业设计基准上对无技能Agent于Claude-Sonnet-4与Claude-Opus-4.6分别取得61.8%与67.6%的胜率。在用户流量基准的200条留出需求上,单靠变宽或变深对无技能Agent的胜率为49.4%/48.6%,两者结合达58.5%(p=0.025),证明两种机制组合有效。程序性记忆为Agent在嘈杂、不可验证反馈下的持续适配提供了可行路线。

Designer-RSI:从用户流量中演化程序性记忆的Agentic图形设计:论文配图
图 1:系统概览。左侧——rollout 与奖励。一份简报(brief,来自真实用户提示或上下文中的 LLM 提示者)进入平面设计智能体;技能库(Skill Bank)检索顶级技能并过滤工具列表。智能体通过中间文档状态执行一串工具链,生成输出图像,评分器将其转化为标量奖励。右侧——反思与进化。按技能统计和近期调用历史是系统的资产;与失败相关的技能会被编辑或重写,不良历史被总结为新技能,每一项都经由回放门(replay gate)验证。