论文

欧几里得高速公路之后:双曲线专家人工智能作为下一个创新

After the Euclidean Highway: Hyperbolic Expert AI as the Next Innovation

模型训练预训练

摘要

专家领域是树;欧几里得 Transformer 则不然,它会在深度上以指数方式稀释父子结构。双曲线转向留下了一个悬而未决的问题:不是网络的弯曲程度,而是曲率可能接触梯度的位置。放置是一条法则,而不是一个旋钮:可训练适配器上的相同几何结构会导致训练崩溃(17 个训练崩溃,约 220 个 GPU 小时),但仅在损失层,它就无需进行训练——这就是 HySAT(双曲结构感知训练),仅在损失层出现双曲损失。在我们构建和部署的六个专家 SLM 中(Llama 3.1 和 EXAONE 3.5;四种适配器策略;1800 万样本语料库;超过约 317K 优化器步骤的零 NaN),匹配的四臂消融隔离了保留的流形不变量,三个命题和一个引理证明了为什么仅损失放置是稳定的,而流形上的适配器则不稳定。四种模型已投入运营(一种是实时的,面向消费者的),两种是开放式的,带有每步跟踪,以及 Zenodo 上的十七个事件故障分类帐(CC-BY-4.0)。