Transformer 中涌现的类比推理

摘要

类比是人类智力的核心能力，使在一个领域发现的抽象模式能够应用于另一个领域。尽管类比在认知中居于核心地位，Transformer 获取并实现类比推理的机制仍知之甚少。在这项工作中，受范畴论中函子（functor）概念的启发，我们将类比推理形式化为跨范畴实体间对应关系的推断。基于这一形式化，我们引入若干合成任务，在受控设置下评估类比推理的涌现。我们发现，类比推理的涌现对数据特性、优化选择与模型规模高度敏感。通过机制分析，我们表明 Transformer 中的类比推理分解为两个关键组件：（1）嵌入空间中关系结构的几何对齐，（2）函子在 Transformer 内部的应用。这些机制使模型能够将关系结构从一个范畴迁移到另一个范畴，从而实现类比。最后，我们量化了这些效应，并发现同样的趋势也出现在预训练 LLM 中。由此，我们将类比从一个抽象的认知概念转变为现代神经网络中一个具体的、有机制基础的现象。

Transformer 中涌现的类比推理 — 图1：（A）组合推理与类比推理的合成任务。组合推理评估模型能否将在训练期间观察到的分布内（ID）事实组合起来，以推断新颖的组合（分布外，OOD）。类比推理评估不同类别之间的映射 f（函子）能否泛化。解决类比推理需要从 ID 事实中捕捉每个类别底层的关系结构。（B）Transformer 的训练动态。在该任务上训练 Transformer 时，模型先拟合分布内数据，接着获得组合推理能力，最后在类比推理上取得成功。（C）类比推理的机制。我们分析了类比推理出现前后 Transformer 的内部表示。在获得类比推理能力之后，模型发展出一个结构良好的嵌入空间，其特征可定量刻画为 Dirichlet 能量的下降。