语言模型使用特定于数字和特定于单位的启发法来比较数量

具有测量单位的数量（例如 110 cm 和 1.2 m）需要语言模型 (LM) 将数字与符号单位比例相结合。在这里，我们研究 LM 如何在跨多个单位系统的受控设置中比较这些数量。我们发现，在比较边界附近，准确性会下降，其中值的微小变化决定了正确的答案。由此产生的错误是系统性的：线性代理模型根据数值差异和单位尺度差异线索预测语言模型偏好，并且对与这些变量一致的子空间进行因果干预会改变模型的输出。结果表明，语言模型通过数字和单位的一系列启发式方法来比较数量，而不是首先将两个表达式转换为精确的共享尺度表示。