DemoEvolve：用示范克服智能体脚手架进化中的稀疏反馈

智能体脚手架进化通过修改冻结语言模型智能体周围的可执行结构来改进它们。我们将这一范式研究为一种样本高效快速适应的形式：智能体不更新模型权重，而是通过改变外部脚手架获得任务特定能力，同时保持基座模型的通用能力完好。先前工作表明，自生成的rollout轨迹可以支持脚手架搜索，暗示智能体或可通过练习获得新的任务能力。然而在长时程随机环境中，自我练习变得脆弱：奖励稀疏、结果高方差、失败难以归因到具体的脚手架机制。我们提出DemoEvolve，一种以示范引导启动的脚手架进化方法。当仅凭奖励的搜索过于宽泛且嘈杂时，高质量的人类轨迹可作为编码提案器的专家参考经验，指导脚手架层面的诊断与编辑。在Liar's Dice上的实验表明，当回合短且失败可归因时，自rollout进化可以奏效。相比之下，Balatro暴露出一个更难的长时程随机环境：自rollout进化被稀疏反馈和候选选择噪声误导，而仅靠教程式文本知识也无法带来稳定改进。在同样有限的预算下，DemoEvolve产出更有效、可审计的脚手架编辑并取得更好性能。总体而言，示范使稀疏反馈下的脚手架进化更易诊断、更可定位、更稳定。