CADOC：长视野Agent的缓存感知动态对象上下文

对于长视野Agent来说，上下文是瓶颈：每个请求都会重新发送历史记录，窗口会限制任务长度，并且推理会随着历史记录的增长而降低。用紧凑检索卡替换结构化对象可以缩短提示并保持准确的原始数据可检索，但编辑历史记录可能会破坏前缀缓存重用，并且先前的可恢复方法通过预测未来重用或预设间隔来安排编辑时间。我们提出了 CADOC（缓存感知动态对象上下文），这是一种在线算法，它用紧凑的卡片替换结构化对象，同时保留对其原始内容的精确、按需检索。 CADOC 通过平衡累积等待成本与共享缓存重建成本来安排批量替换。其调度规则遵循经济订单量权衡，恢复平稳假设下的最优整数批次。在整个评估过程中，CADOC 在比较配置中始终实现了最低的总输入成本，平均降低了约 40% 的输入成本，同时保持任务性能接近完整上下文。因此，CADOC 提供了一种基于成本的方法来进行可压缩上下文管理，证明高效压缩不仅取决于缩短提示，还取决于安排编辑以保留缓存重用。