通过平滑 MMD 对齐增强 LLM 中的数值预测

尽管 大语言模型 (LLM) 具有强大的通用功能，但当输出必须在数值上精确时，它们通常仍然不可靠。一个关键原因是训练目标：标准交叉熵将数字标记视为非结构化类别，并忽略其值的度量结构。我们通过平滑最大平均差异 (SMMD) 解决了这种不匹配问题，该模型建立在经典 MMD 的基础上，通过将数值距离内核与数字标记和基于图形的平滑度结合起来。通过在数字子词汇表上定义该内核，SMMD 通过内核匹配将预测的数字分布与目标对齐，并在归纳的内核图上平滑预测目标残差以鼓励局部一致性。我们在多个开放权重 LLM 和 VLM 主干上评估 SMMD 的四个数字目标任务：数学推理、算术计算、时钟时间识别和图表问答。 SMMD 持续提高了交叉熵和最近数字目标损失的准确性；分析显示了 MMD 和平滑度之间的互补效应，并强调了基于距离的内核设计的重要性。代码可在 https://github.com/Zuozhuo/smmd-loss 获取。