DiscoLoop：循环离散嵌入和连续隐藏状态以进行多跳推理

当允许将中间步骤具体化为思想链 (CoT) 时，大语言模型 在许多推理任务中实现了强大的性能。然而，许多问题要求模型在生成答案之前在单个前向传递中内化多步骤推理。我们通过两跳推理来研究这一挑战，这是一项代表性任务，其中模型必须在一次前向传递中组成多个参数知识。标准非循环 Transformer 存在深度本地存储问题：在发生第二跳检索时，在早期层中学到的事实不可用。我们发现 Looped Transformer 通过重用相同的内存来缓解这个问题，但仍然不能完美地概括。我们表明剩下的瓶颈是代表性的。在两跳推理任务中，第一个循环通常使正确的桥实体几乎完全可解码，但相应的隐藏状态与桥词元嵌入的对齐仍然很差。令人惊讶的是，简单的 无需训练 重新调整干预几乎消除了泛化差距。基于这一见解，我们提出了 DiscoLoop，这是一种循环架构，其循环携带离散嵌入通道和连续隐藏状态通道。 DiscoLoop 在符号和合成语言多跳推理任务中以更少的训练步骤实现了近乎完美的准确性。当应用于现实世界的预训练时，DiscoLoop 比循环 Transformer 基线获得了更低的训练损失和更强的基准性能，这表明混合通道设计可以转移到实际的语言建模中。