论文

智能体该怎么读示范?层级结构胜过扁平动作日志

How Should Agents Read Demonstrations? Hierarchical Structure Beats Flat Action Logs

上下文与知识上下文工程

摘要

示范编程(PbD)提供以人为中心的方式为LLM智能体撰写过程性知识:用户以演示而非写提示或代码表达意图——使智能体编写对非程序员可及。PbD录制的自然输出是扁平动作日志——但这份日志在被传给智能体前如何组织是开放设计问题——对计划质量有重大影响。我们提议把录制动作分组为带标签的层级子目标——并在受控实验中评估该组织结构的效果。跨85个网页自动化任务——我们比较零样本基线与四个共享相同动作序列、仅结构不同的示范格式。在43个带含糊描述的自然语言任务上——层级分组示范把通过率从76.7%提升到90.7%(配对置换检验p=0.034;胜负6:0)——而扁平示范的改进较小且不显著。在42个带精确描述的任务上——没有任何格式带来收益——确认层级优势仅在描述留下程序细节含糊时出现。消融显示仅子目标分组即驱动该效应:前置条件、后置条件与参数标注无可测收益。这些结果为PbD管线——以及更广地任何向LLM智能体供给过程性上下文的系统——提供具体设计建议:把动作序列切分为命名子目标组——而非呈现扁平步骤列表。