加法的形状：大语言模型 中算术的几何结构

大语言模型 在基本算术中表现出自相矛盾的脆弱性，这意味着内部计算和离散输出之间的脱节。通过分析多操作数加法期间的残余流几何结构，我们识别了 Iso-Raw-Sum 轨迹（IRST），这是一种几何结构，其中表示由语义数字锚定并由连续进位纤维调制。我们提出噪声量化模型来解释这种几何形状，将算术错误视为由内部神经噪声推动连续的、潜在的携带势跨越量化阈值引起的几何滑移。这个几何框架进一步阐明了探针的多功能性，解释了轻量级探针如何从单个激活向量中解开共存的潜在信号（例如 真值 与幻觉）。最后，我们通过几何一致性检查方法验证这些见解，该方法可以在推理过程中有效地检测和纠正这些量化失败。我们的代码可在 https://github.com/RL-MIND/Shape-of-Addition 获取。