潜在思维链改进结构化数据 Transformer

众所周知，思想链和更广泛的测试时计算可以增强语言模型的表达能力，并导致推理方面的重大创新。受这一成功的激励，本文探讨了潜在的思想链以及深度和循环对时间序列和表格数据的影响。我们提出了一种循环方案，其中结构化数据 Transformer 在初始前向传递后，将其查询位置隐藏状态压缩为反馈标记，将其附加到输入并再次处理，从而允许在预测之前进行多轮潜在计算。我们将 CoT 模型与相同深度的无 CoT 基线、在有效深度上与 CoT 模型匹配的更深基线以及具有权重绑定循环但没有额外的思想链标记的循环 Transformer 进行比较。在时间序列预测和表格预测的 36 个数据集中，潜在思想链比 7/9 时间序列数据集（+12.63\% 平均增益）和 23/27 表格数据集（+3.25\% 平均增益）的基线有所改善，CoT 模型在这两种设置中平均表现最佳。我们还表明，CoT 的优势扩展到了预训练的基础模型：将潜在 CoT 应用于 nanoTabPFN（一种小型开源表格基础模型），其性能优于 TabArena 上更大的 TabPFN-v2。总之，这些结果表明，思想链是扩展结构化数据测试时计算的有用轴。