论文

再现循环 Transformer:CoTFormer

Reproducing Recurrent Transformers: The CoTFormer

模型评测模型能力评测

摘要

CoTFormer 架构将思想链形式化为一种循环潜在计算的形式,将中间状态保留为可参与的表示,以模仿显式推理轨迹。在这项工作中,我们评估了 CoTFormer 及其跨复杂性和计算效率指标的结构变体。此外,我们将评估扩展到受控算法设置,以确定该循环框架是否改善了归纳推理任务的分布外泛化。