论文
离散逻辑的几何代价:数字表示的上下文驱动流形动力学
The Geometric Price of Discrete Logic: Context-driven Manifold Dynamics of Number Representations
摘要
大语言模型(LLM)可以在连续的语义空间中平滑地泛化,但严格的逻辑推理需要形成离散的决策边界。依赖线性等距投影的流行理论未能解决这一根本张力。在这项工作中,我们认为任务上下文作为非等距动力学算子运行,强制执行必要的“拓扑扭曲”。通过将 Gram-Schmidt 分解应用于残差流激活,我们揭示了驱动这一过程的双重调制机制:锚定全局结构以防止语义崩溃的类不可知拓扑保存,以及定向撕裂跨类概念以形成逻辑边界的特定代数发散。我们通过任务梯度验证这种几何演化,从简单的映射到复杂的素性测试。至关重要的是,有针对性的特定矢量消融在该拓扑和模型函数之间建立了严格的因果关系:以代数方式消除散度分量,将奇偶分类精度从 100% 降低到机会水平 (38.57%)。此外,我们发现了三相分层几何动态,并证明在社会压力提示下,模型无法产生足够的分歧。这导致了一种“多重纠缠”,从几何上解释了阿谀奉承和幻觉。最终,我们的研究结果修正了线性等距假设,证明 LLM 中离散逻辑的出现是以不可减少的拓扑变形成本购买的。