基于复杂性的大型语言模型路由中的寄存器偏差

大型语言模型服务越来越多地将每个查询路由到具有不同功能的多个模型之一，使用查询复杂性的廉价估计将简单查询发送到小型模型，将困难查询发送到大型模型。我证明这个路由步骤不是语体中立的：用非标准英语语体、非洲裔美国英语或第二语言作家的英语编写的文本，被系统地分配到比相同查询的含义等效的标准英语版本更低的容量层。该效果是由特定的、通用的路由信号（输入长度​​）驱动的，因为非标准寄存器省略了功能字，因此看起来更短，因此更简单；其他复杂性信号不携带它。我在 37,704 个真实的学习者句子对和受控平行语料库上展示了这种差异。然后，我测量了设备、边缘和云模型阶梯上的质量结果，发现危害是由普遍的模型偏差造成的，每一层（包括前沿云模型）对非标准寄存器查询的响应明显不太准确，而路由决策本身的边际质量成本在此基准测试中并不重要。因此，基于复杂性的路由使模型已经服务最差的用户面临更大的风险。