论文

单纯形推理:几何定点模型

Reasoning on the Simplex: Geometric Fixed-Point Models

模型架构递归架构

摘要

循环推理器通过迭代权重绑定映射来花费测试时间计算,但是当该映射存在于不受约束的潜在空间中时,小的残差并不意味着状态是固定点。我们提出几何定点推理(GFPR),其中迭代状态就是预测本身:对单纯形乘积的分类信念领域,其 argmax 是每一步的答案。因为状态是一种信念,所以可以通过紧凑的凸松弛来强加任务结构,无论是作为结构化读数还是直接在循环状态中;在后一种情况下,更新仍然是连续的自映射,因此任何参数都存在固定点。在大约 7M 参数下,GFPR 在 Sudoku-Extreme 上达到 95.1% 的精确匹配度,在 Maze-Hard 上达到 92.0% 的精确匹配度,在 S_5 长度 128 上达到 100% 的序列准确度,高于已发布的相同规模的 FPRM 数字。同一更新还在 FineWeb-Edu 上训练了 201M 语言模型,其中每个站点都是词汇表的分布;具有 24 个 Picard 步骤,在四个零样本多项选择任务上高于 GPT-2 小型,在 ARC-Easy 上高于 GPT-2 中型。