潜在序数证据，未对齐的输出：多模态的推理时间序数透镜对齐 LLM

多模态 LLM 将语言模型接口应用于视觉输入，其中年龄估计、图像质量评估和疾病分级等序数回归任务需要对有序类标签进行自回归决策。我们询问 MLLM 是否可靠地将内部序数证据转换为有序数字词元输出。在四个序数基准和四个 MLLM 主干中，序数标签可从隐藏状态线性恢复，Spearman 相关性高达 0.938，并且任务设计的提示进一步强化了这种结构。然而，原生数字词元输出却微弱地暴露了这一点：非嵌入矩阵过滤了序数方向，并且数字词元行空间在所有 16 个模型数据集组合中保持在 1.15% 以下，线性探针和原生输出之间存在 16 到 77 点的绝对点精度差距。我们引入了序数透镜对齐（OLA），这是一种冻结主干推理时间方法，可在中深层解码器层上训练轻量级 W_S 锚定透镜，将它们融合成序数分布，并在生成时仅校正数字标记 logits。 OLA 在大多数设置中优于 SOTA LoRA 调整的 OrderChain 基线，同时保持 MLLM 冻结，超过大多数单元中的判别性序数基线，并且在每种设置中都优于离线镜头。