Panini：借助结构化记忆在词元空间持续学习

语言模型越来越多地被用于对其未训练过的内容进行推理，如新文档、不断演进的知识和用户特定数据。常见做法是检索增强生成（RAG）：将文档原文分块外存，推理时只检索相关子集供 LLM 推理。然而这导致测试时算力使用低效（LLM 反复对同一文档推理）；此外，分块检索可能注入无关上下文，增加无依据的生成。我们提出类人的非参数持续学习框架：基座模型保持固定，学习通过把每次新经验整合进一个持续积累和巩固的外部语义记忆状态来实现。我们提出 Panini，它把文档表示为生成语义工作区（GSW）——一个实体与事件感知的问答（QA）对网络，足以让 LLM 重构经历过的情况，并通过网络上基于推理的推理链挖掘潜在知识。给定查询，Panini 只遍历持续更新的 GSW（而非原文档或分块），检索最可能的推理链。在六个问答基准上，Panini 取得最高平均性能，比其他有竞争力的基线高 5%-7%，同时答案上下文词元用量减少 2-30 倍，支持全开源流水线，并在精选的不可答查询上减少无依据回答。结果表明，在写入时对经验进行高效且准确的结构化——正如 GSW 框架所实现的——能在读取时同时带来效率与可靠性收益。代码见 https://github.com/roychowdhuryresearch/gsw-memory。