论文
ContextPipe:受数据库启发的长程智能体上下文组装
ContextPipe: Database-Inspired Context Assembly for Long-Horizon Agents
摘要
长视野大语言模型(LLM)代理需要上下文组装:运行时必须决定在每个提示中包含什么内容、以什么顺序以及何时在严格的上下文窗口预算和字节敏感的提示缓存下压缩历史记录。在生产代理系统中,这种逻辑分散在提示构建器、临时压缩例程、缓存中断解决方法和每个提供者的填充程序中。我们认为上下文组装在结构上与关系数据库中的查询执行是同构的:两者都在硬预算下执行,利用分层缓存,并利用统计数据。我们在 ContextPipe 中采用了这一规则:由结构化数据源目录、确定性缓存感知优化器和 EXPLAIN ANALYZE 跟踪支持的五阶段管道(计划绑定优化执行反馈)。我们证明 ContextPipe 中的上下文是可审计、可重播和故障隔离的。使用SWE-bench Pro Qutebrowser子集进行的初步评估表明,与仅追加上下文构建策略相比,ContextPipe减少了总令牌量31%,LLM调用减少了23%,响应时间减少了9%,但代价是KV缓存命中率较低。