固定加载的Agent上下文：容量约束与删改证据

在每个会话开始时，LLM 代理会加载固定的上下文文件，例如 $\texttt{AGENTS.md}$。文件中加载的每个token在会话的每一轮中都会再次收费，并且这些文件会随着大小的增长而降低性能。然而，在实践中，人类或自动化管理员通常通过附加来增长这些文件。我们将上下文管理表述为一个有能力的分类问题。指令在有限的注意力容量下消耗token；添加指令永远不会提高其他指令的合规性，而保留的指令会产生每个会话的设置成本。我们证明了最佳文件大小的上限，无论可用候选指令的数量如何，并且为每个指令附加正独立值可能比选择最佳子集的净值更差。token预算还可以限制token价格被低估时的损失。然后，我们研究可以从过去的会话中学到什么，以及这些信息如何指导添加或删除指令的决策。反馈本质上是经过审查的：好处和 加载指令的危害是可以观察到的，而缺失指令仅在缺少指令造成危害时才会产生反馈。在这种情况下，我们表明删除被代理忽略的指令不可避免地会删除有用的指令。我们描述了在添加指令之前应该收集多少证据。此外，当人类审稿人只能检查每个时期有限数量的编辑时，我们一定会感到遗憾。实证实验进一步表明，从真实上下文文件中提取的不相关规则会降低语言模型的合规性。