论文

ConvMem:用分层卷积组织长上下文推理

ConvMem: Convolutional Memory for Long-Context Reasoning

上下文与知识上下文工程

摘要

LLM能力虽强,固定上下文限制仍使其难以处理极长输入。MemAgent等顺序方法通过分段阅读、反复更新固定大小记忆扩展有效上下文,但延迟高,且需要昂贵强化学习训练,可能过拟合特定数据。我们提出免训练且易于并行的ConvMem,将长上下文推理重构为分层卷积。借鉴卷积神经网络,ConvMem把以特定查询提示的LLM视为卷积核,分层摘要文本片段,将推理路径从线性链缩短为对数深度树。可配置步幅和跳跃连接支持稳健的证据捕获与传播,多核卷积将复杂查询分为解耦的语义通道。这既缓解误差累积,也支持文本片段与推理线程两个维度的大规模并行。在RULER-HotpotQA及RULER-2WikiMultiHopQA上,ConvMem超过免训练基线,并避免了强化学习模型在分布外任务中常见的参数先验过拟合风险。