从代理失败到文本策略：什么有效，什么无效

TextGrad 通过修改反馈文本来改进语言模型系统。其核心论点是，自然语言反馈可以充当优化文本组件的梯度，而无需改变模型权重。将其应用于代理更加困难，因为反馈只有在一系列操作之后才会到达，因此很难确定哪个决策导致了失败。我们通过将遵循有用政策的能力与从经验中学习该政策的能力分开来研究这个问题。我们的主要发现是这两种能力之间存在明显差距。人工编写的策略将 TextWorldExpress 上的两个冻结的 7B 代理改进了 5.0 个成功点，这表明存在有用的策略文本。然而，即使有更丰富的痕迹、反事实证据或迭代 GEPA 搜索，从智能体轨迹生成的策略也不能可靠地优于固定提示。因此，代理级 TextGrad 的主要挑战不是执行文本策略更新，而是根据经验可靠地生成和选择它们。