MANAR：具有导航式抽象概念表征的记忆增强注意力

MANAR（Memory-augmented Attention with Navigational Abstract Conceptual Representation）是一种上下文化层，通过实例化全局工作空间理论（Global Workspace Theory, GWT）的原则来泛化标准多头注意力（MHA）。尽管MHA实现了不受约束的全对全通信，但它缺乏意识认知模型中所假设的功能瓶颈和全局整合机制。MANAR通过可训练的抽象概念记忆和抽象概念表征（Abstract Conceptual Representation, ACR）来实现中央工作空间，从而解决这一问题。该架构遵循直接映射到GWT机制的两阶段逻辑：（i）整合阶段，检索到的记忆概念汇聚形成基于输入刺激的集体“心理图像”（即ACR）；（ii）广播阶段，这一全局状态进行导航并指导各个局部token的上下文化。我们证明，高效的线性时间扩展是实例化GWT功能瓶颈的根本架构副产品，因为通过固定大小的ACR路由全局信息解决了标准注意力固有的二次复杂度。MANAR是对MHA的兼容重参数化，其投影具有相同的语义角色，可通过权重复制从预训练transformer迁移知识，从而克服了结构不兼容的线性时间替代方案所面临的采用障碍。MANAR实现了非凸上下文化，能够合成可证明位于输入token凸包之外的表征——这是GWT所述创造性综合的数学反映。实证评估证实，MANAR在语言（GLUE得分85.1）、视觉（ImageNet-1K上83.9%）和语音（LibriSpeech上WER 2.7%）任务上持平或超越强基线，使其成为二次复杂度注意力的高效且富有表现力的替代方案。