TokenMizer：面向长程LLM上下文管理的图结构会话记忆

长期的 LLM 会话比其上下文窗口寿命更长，而标准的缓解措施（截断、摘要、检索）都有一个结构缺陷：它们将历史视为平面文本，精确地丢弃使会话可恢复的内容：决策及其基本原理、任务状态和文件修改历史记录。我们提出了 TokenMizer，一个开源透明代理，它将会话历史记录作为类型化知识图来维护，并在上下文边界处用会话状态的词元预算序列化替换原始记录。该模式包括 8 状态生命周期下的 14 种节点类型和 7 种边类型，其中决策可以被取代或显式失效；双时态有效性区间支持时间旅行查询；一流的决策转换记录保留了每个决策取代其前一个决策的原因（触发因素、原因、证据）。版本 0.3.1 将此内存核心嵌入到生产型服务层中 - SSE 流、安全中间件、九个提供商适配器、监控仪表板、图形导出（D3 JSON、独立的交互式 HTML、Obsidian Canvas） - 并将检查点/恢复作为模型上下文协议工具向代理公开。评估是故意最小化且完全出处的：三个综合会话、仅启发式提取、一个简单摘要基线、每个值都可追溯到单个版本化结果文件。图提取与任务召回基线 (75.6%) 相联系，并在决策召回（85.0% 对比 70.0%）和文件召回（100% 对比 91.7%）方面超过基线，每个会话提取 201-302 个词元恢复块的时间为 8.1-529.9 毫秒。当 n=3 时，这些结果是有方向性的；明确分析了上限效应和基线弱点。代码、基准运行程序和确切的结果文件是根据 MIT 许可证发布的。