LLM 代理中Harness设计和 后训练 的相互作用

工具集成的 LLM 代理通常包裹在一个工具中：确定暴露哪些工具、如何描述它们以及每个步骤观察伴随哪些辅助信息的脚手架。虽然代理通常会进行后训练，但这种脚手架通常被视为固定的工程细节，设计工作仅限于 无需训练 体系。此外，现有的 后训练 算法假设静态环境，尽管工具环境和任务经常在部署时发生变化。为了解决这一差距，我们扩展了 $\texttt{ALFWorld}$ (i) 将Harness视为可控的设计维度，以及 (ii) 支持任务和工具环境变化下的评估。在此基础上，我们系统地分析了Harness设计如何在配电内和配电外 (OOD) 设置中影响 后训练。我们的经验表明，利用感知的 后训练 不仅可以提高分布内性能，还可以使代理能够稳健地适应 OOD 设置。在设计工作量最少的Harness下，后训练 在更强的工具环境变化下会出现性能急剧下降，这进一步凸显了Harness感知 后训练 在这种变化下的重要性。