论文
几何对齐税:科学基础模型中的标记化与连续几何
The Geometric Alignment Tax: Tokenization vs. Continuous Geometry in Scientific Foundation Models
摘要
生物学和物理学的基础模型优化了预测准确性,但它们的内部表示系统地无法保留它们建模的系统的连续几何形状。我们确定了根本原因:几何对齐税,这是迫使连续流形通过离散分类瓶颈的内在成本。合成动力系统上的受控消融表明,在相同编码器上用连续头替换交叉熵可将几何失真减少高达 8.5 倍,而学习的码本则表现出非单调双束缚,其中尽管改进了重建,但更精细的量化会恶化几何形状。在连续目标下,三种架构相差 1.3 倍;在离散标记化下,它们的差异达 3,000 倍。使用率失真理论和 MINE 评估 14 个生物基础模型,我们确定了三种失效模式:局部-全局解耦、表征压缩和几何真空。一项对照实验证实,Evo 2 对真实 DNA 的反向互补稳健性反映了保守的序列组成,而不是习得的对称性。没有模型能够同时实现低失真、高互信息和全局相干性。