相联记忆：复杂希尔伯特空间中的序列建模

人类和 LLM 探索自然语言处理的实验表明，语义表达的含义在解释行为之前是不确定的，而不是简单地指定为其各部分的总和（即组合性）。这种依赖于观察者的行为在真正的语境下动态地实现意义，与假设可分离性的经典布尔方法相比，更符合量子逻辑机制，从而激发了利用希尔伯特空间形式主义的语言建模方法。在这项工作中，我们引入了相关联记忆（PAM）——一种复值序列模型，其状态 S_t \in \mathbb{C}^{d \times d} 累积通过共轭内积 $\mathrm{Re}\langle K \mid Q\rangle / \sqrt{d}$ 检索的复杂标记嵌入的外积——并根据结构匹配的实值消融对其进行评估。两种架构在相同条件下都能在 WikiText-103 上稳定地进行 5M--100M 参数扫描训练； PAM 在每个测量尺度上的绝对损失都较高，但随着参数数量的增加，改进速度更快，损失的幂律指数为 $-0.15$ vs.\ $-0.12$，困惑度为 $-0.65$ vs.\ $-0.49$，单调缩小了两种架构之间的差距。对更大规模的复值序列建模的进一步研究可以揭示，实值最先进语言模型（例如 Transformer）的损失平台特征可以通过 PAM 风格架构实现，其参数比当前前沿（$\sim$1T）少一个数量级，这意味着可以在消费级硬件上运行的规模上实现类似的功能。