软件工程Agent的隐式上下文压缩问题

基于 LLM 的软件工程代理面临着一个关键瓶颈：上下文长度限制会导致复杂的长期任务失败。一种有前途的解决方案是将上下文编码为连续嵌入而不是离散标记，从而实现更密集的信息存储。为此，我们应用了最近提出的上下文自动编码器。虽然该方法在单次常识和代码理解任务上表现良好，但我们的实验表明它在多步骤代理编码任务上失败。在本文中，我们探讨了这种现象并讨论了导致这种失败的可能因素。