用于模型选择的贝叶斯风洞

先前的工作表明，Transformer 可以在固定假设类内执行精确的贝叶斯过滤。他们还可以执行贝叶斯模型选择——从数据中识别正确的假设类别吗？我们引入模型选择贝叶斯风洞：受控环境，其中假设类的 真值 后验以封闭形式提供。使用无定点对合——其定义属性 f(f(x))=x 是纯关系的——2.8M 参数 Transformer 实现了与贝叶斯最优（3 个种子）的 0.01 位熵一致性，其中整数标记和不透明符号的含义每集都会发生变化。这扩展到非嵌套比较：对合与 3 周期（其中两个类都不是另一个类的子集）实现了低于 0.001 的类后验 MAE，证明了超越简单性/子集偏差的真正模型选择。然后，我们确定了一个尖锐的感知访问条件：当判别统计需要算术时——模加（旋转）或乘法（f(x)=cx mod p）——模型选择在整数标记上成功，但在不透明符号上完全失败，并且该边界在 112 倍缩放（2.8M 到 316M 参数）下仍然存在。平稳性控制确认了操作因素：具有固定重新标记的不透明词元成功（0.009 位 MAE），表明稳定的语义（而不是整数标识）支持电路编译。标头子任务诊断将失败定位于通过算术而不是标头解析本身来组合标头反转。在相同任务上探测前沿 LLM 显示了定性贝叶斯行为，但通过有损探针测量存在较大的校准间隙（~55x），因此是定向的而不是精确的。