论文

从信号到结构:记忆架构如何驱动LLM智能体中的语言涌现

From Signals to Structure: How Memory Architecture Drives Language Emergence in LLM Agents

上下文与知识记忆Agent记忆

摘要

两个智能体如何从零发明共享语言?在Lewis信号博弈中——发送者与接收者必须仅凭交互历史就一套编码达成协调。我们用LLM智能体跨不同通道配置研究五种记忆架构——发现记忆架构比通道容量更重要。拥有持久私有笔记本的智能体受益于富余通道容量——并避免无状态智能体在高容量下的崩溃——取得最可靠的协调(容量=25时0.867±0.023)。无状态智能体在中等容量达到峰值——随后随词表增长超出滚动上下文窗口可追踪范围而退化。笔记本将学得的约定外置化——使智能体免于每轮重新推导编码。信息瓶颈式的论证预测最优容量等于对象数量——但事实上瓶颈点(容量=8)被证明是脆弱点——富余容量总体更好。我们表明单凭通道容量无法预测协调;记忆架构决定智能体能否把交互历史转化为稳定约定——理解信号如何成为语言需要两个维度。

从信号到结构:记忆架构如何驱动LLM智能体中的语言涌现:论文配图
图 3:跨内存架构的学习动态(cap =27=27,3 个种子,15 轮滚动平均值 ±\pm std)。 Env_board 通过共享公共表快速收敛,而不是形成约定。 Scratchpad 显示了游戏中期最陡峭的上升,但在后期随着种子间差异的扩大而下降。 Memory_only是游戏后期最稳定的。码本模式自始至终都表现出很大的差异,并且没有持续的改进。虚线:机会(0.250.25)。