论文
FOCUS：LLM Agent的免训练决策保留上下文压缩
FOCUS: Training-Free Decision-Preserving Context Compression for LLM Agents
摘要
LLM 智能体累积的交互历史随任务长度线性增长，导致二次推理成本缩放和注意力稀释导致的性能下降。现有的上下文压缩方法通过对比优化指南、提取压缩器或训练压缩策略来学习离线丢弃什么。这会产生巨大的成本。此外，压缩策略是先验学习的，并且不动态地取决于不断变化的测试时间轨迹。在本文中，我们提出了一个补充问题：过去的哪些交互影响了智能体未来的决策？我们将上下文压缩重新定义为离散交互单元上的因果决策保存问题，并引入 FOCUS，这是一种完全在测试时运行的免训练上下文压缩框架。我们的方法不需要离线数据收集或微调，并且与架构无关，可以作为模块化压缩层附加到任何封闭 API 前沿模型。我们对各种 Agentic 基准进行 FOCUS 评估，包括 API 和工具调用、QA、Web 域和多轮对话。我们的方法建立了新的最先进的性能，与未压缩执行相比，将峰值上下文减少了 48%，依赖性减少了 73%，同时将任务成功率提高了 8.9 个百分点。