什么时候该快思考、什么时候该慢思考？ AMOR：用于动态 SSM 注意力切换的基于熵的元认知门

Transformer 为每个位置分配统一的计算，无论难度如何。状态空间模型 (SSM) 提供了有效的替代方案，但在长期的精确信息检索方面存在困难。受认知双过程理论（Kahneman，2011）的启发，我们提出了 AMOR（自适应元认知输出路由器），这是一种混合架构，仅当 SSM 主干“不确定”（通过预测熵测量）时才动态地吸引稀疏注意力。与标准 Transformer 相比，AMOR 通过从 SSM 隐藏状态（Ghost KV）投影键和值来提高效率，重用 SSM 的 O(n) 计算，而不是在每一层都需要 O(n^2) 关注。在小规模综合检索任务中，AMOR 优于仅 SSM 和仅 Transformer 基线，实现了完美的检索精度，同时仅吸引了 22% 的位置的注意力。我们验证预测熵可靠地表示检索需求，检索和本地位置之间的差距为 1.09 nat（接近熵范围的一半）。此外，我们的方法提供了可解释的自适应计算，其中路由决策可以用信息论术语来理解。