SBD与Green Shell：语言模型非因果基础结构分析

我们表明，当系统行为S被作为第一性原理的贝叶斯特征纳入时，语言模型（LM）的因果性可能既非必要也非最优。S表示数据空间之外具有耦合影响的额外主导因素。尽管因果性是现代架构的事实基础，近期研究显示持续不匹配和矛盾，主要来自系统行为而非数据分布。我们提出SBD框架，将S作为证据下界（ELBO）不可约部分。理论揭示反直觉的“因果性税”：忽视S使因果结构成为带额外结构误差的次优近似。为处理潜变量分析，通过隐式测量、理论界引导对照和神经切线核（NTK）评估验证SBD预测的S影响。我们构建Green Shell（GSH），一种非因果变分族，以分治划分替代S组件的顺序依赖链，展示降低因果性税的可能。在惰性训练区间，NTK谱确认GSH比因果结构获得显著更紧误差界，信噪比改善超过7 dB。在相对较晚的惰性训练阶段，GSH还提供更优泛化，多尺度拟合能力最多增加20%。SBD把系统行为建立为因果性和分布拟合之外的补充理论抽象，为LM基础模型设计与优化开辟研究方向。