TRACE：从语言反馈中学习可验证的约束

交互式学习中的自然语言反馈通常通过指出违反的要求来解释行动失败的原因。误解此反馈可能会导致Agent排除有效的解决方案。我们通过将用户意图建模为动作空间的潜在约束，并将语言反馈的学习公式化为对可行区域的纯粹探索来研究这种设置。我们引入 TRACE，这是一种算法，它在树中组织候选约束，并通过生成满足它的操作来测试每个提出的细化。仅当所得反馈与重复测试中的反馈不矛盾时，TRACE 才会致力于改进。我们区分使用相同反馈的两种方式：（i）伪造，它检测与当前正在测试的约束集的矛盾，以及（ii）识别，它可能另外命名违反的约束。我们证明了 TRACE-Falsification 的高概率覆盖范围取决于候选类大小 $H$。通过可靠的识别，TRACE-Identification 可以用 $K/p_{\mathrm{ext}}$ 代替这种依赖性，其中 $K$ 是潜在约束的数量，$p_{\mathrm{ext}}$ 下限从信息反馈中提取缺失的真实约束的概率。我们通过六种语言反馈任务评估 TRACE。在 RecMovie 上，TRACE-Identification 在 20 和 60 个评估输出的上限下实现了 73% 和 86% 的最终输出成功率，而在相同反馈和输出上限的情况下，评估的提示基线的最终输出成功率最多为 42% 和 48%。当伪造检测器保持可靠时，受控身份损坏实验进一步显示出比直接累积更高的鲁棒性。