沙丘社区
论文

Transformer中隐式演绎推理的缩放性质

The Scaling Properties of Implicit Deductive Reasoning in Transformers

Enrico Vompa, Tanel Tammet
模型评测模型行为与机制分析

摘要

我们研究深度受限Transformer中面向Horn子句的隐式演绎推理的缩放性质。通过系统地把可证性与伪特征去相关并强制算法对齐，我们发现：在具备双向前缀掩码的足够深模型中，隐式推理在跨图拓扑与问题宽度上逼近显式CoT性能，但深度外推仍需CoT。

Transformer中隐式演绎推理的缩放性质：论文配图
(h) 工作校正模型。 τc​o​t\tau_{cot} 和 τd​i​r​e​c​t\tau_{direct} 保持不同的非零嵌入。(i) 退化的混合模型。 τc​o​t\tau_{cot} 嵌入已崩溃为零幅度向量。图 A.7：嵌入崩溃的可视化。余弦相似度热图和 L2 规范。在降级混合模型 (b) 中，CoT 任务标记 τc​o​t\tau_{cot} 向量已崩溃至零量值，解释了表 A.10 中的相同性能。