论文

Aeon:面向长程 LLM 智能体的高性能神经符号记忆管理

Aeon: High-Performance Neuro-Symbolic Memory Management for Long-Horizon LLM Agents

AI 基础设施上下文与知识记忆向量数据库Agent记忆

摘要

大语言模型(LLM)从根本上受到自注意力的二次计算成本和“迷失在中间”现象的限制,其中推理能力随着上下文窗口的扩大而下降。现有的解决方案,主要是依赖于向量数据库的“Flat RAG”架构,将内存视为非结构化的嵌入包。这种方法无法捕捉长视域交互的层次结构和时间结构,导致“矢量雾”,即检索缺乏情景连续性的脱节事实。我们提出了 Aeon,一种神经符号认知操作系统,它将内存重新定义为托管操作系统资源,而不是静态存储。 Aeon 将内存构建为 Memory Palace(通过 Atlas 实现的空间索引,这是一种 SIMD 加速的页面聚集向量索引,它将小世界图导航与 B+ 树式磁盘局部性相结合,以最大限度地减少读取放大)和 Trace(神经符号情景图)。我们引入了语义后备缓冲区(SLB),这是一种预测缓存机制,利用会话局部性来实现亚毫秒级检索延迟。基准测试表明,Aeon 在会话工作负载上实现了 < 1 毫秒的检索延迟,同时通过零拷贝 C++/Python 桥确保状态一致性,从而有效地为自主代理提供持久的结构化内存。

Aeon:面向长程 LLM 智能体的高性能神经符号记忆管理
图1:不同 SIMD 实现下的数学核(kernel)吞吐量。AVX-512 相对标量 C++ 取得 20 × \times 加速,相对解释执行的 Python 接近 2000 × \times。误差棒表示 5 次运行的第 25/75 百分位数。