论文
超越欧几里得范式的统计意义几何 (SMG) 及其在生成人工智能中的应用
Statistically Meaningful Geometry (SMG) Beyond the Euclidean Paradigm, with Application to Generative AI
摘要
传统的统一收敛界限和经验风险最小化在大规模过度参数化模型中失效,例如大型语言 Transformer 和生物序列网络。凭借近乎无限的不受约束的内部自由度,它们的优化景观形成了平坦的垂直规范谷,使经典的泛化度量变得空洞并引发严重的病态,特别是生成性幻觉和灾难性遗忘。我们引入了统计有意义的几何(SMG)框架,这是一种信息几何范式,将确定性参数模型提升为无限维非参数 Orlicz 统计流形。将总状态空间建模为微分纤维束 ($\mathcal{M}, \mathcal{B}, π, \mathcal{V}, \mathcal{H}, ω$),我们建立了一个二重推理范式。我们将 Ehresmann 连接 1-form $ω$ 形式化为动态几何滤波器,去除垂直规范噪声(结构内部方向,或 SID)并沿着严格非退化水平分布(统计变分方向,或 SVD$χ$)隔离学习轨迹。我们证明,在连接过滤的 预训练 下,分布外预测方差严格以可识别商基流形 $\mathcal{B}$ 的有限直径为上限,建立了生成幻觉的硬几何遏制。通过将下游更新投影到历史水平运输的正交补上,我们形式化了 SMG 顺序适应流,证明了灾难性遗忘的完全非渐近消除。 SMG 用无坐标拓扑约束取代了经验 微调 启发法,将先进的微分几何与人工智能中的结构可靠性联系起来。