论文
Encore:通过少样本Agentic探索发现操作策略
Encore: Few-Shot Agentic Discovery of Manipulation Strategies
摘要
编码Agent现在可以在几乎不需要人工帮助的情况下编写、运行和调试程序。然而,机器人任务通常由一个句子来指定,而没有提及如何抓取、以什么顺序进行接触以及结果应该是什么样子,而仅给出句子的智能体必须通过反复试验找到这些细节。我们引入了 ENCORE,它为Agent提供了一些演示作为阅读的证据,而不是作为训练数据。确定性构建器将每个演示提炼为一组多视图关键帧、夹具事件、帧条和完整轨迹。编码Agent研究该包,针对固定的感知和操作 API 编写策略程序,通过几次开发部署迭代地完善它,并在密封评估之前冻结它,永远不会透露成功信号。在 LIBERO-PRO 上,Agent的第一个程序已经在一半有演示的扰动任务和没有演示的一个任务中取得了成功,并且冻结的程序优于使用相同语言模型运行的最强的先前 Agentic 系统(96.3% 对 89.3%)。在 RoboDojo 任务中,如果指令没有明确目标,没有演示,任何程序都不会成功。 ENCORE 还在真正的双手机器人上运行,通过五个演示分别学习立方体移交和杯子翻转。