超越外观的状态：诊断和提高基于表盘的测量读数的状态一致性

多模态 大语言模型 (MLLM) 在一般多模态任务上取得了令人印象深刻的进展，但它们在基于表盘的测量读数方面仍然很脆弱。在本文中，我们通过受控基准和特征空间探测来研究这个问题，结果表明，当前的 MLLM 不仅在基于表盘的读出上实现了令人不满意的精度，而且即使在底层表盘状态保持固定的情况下，在视点和照明变化下性能也会急剧下降。我们的探测分析进一步表明，外观变化下的相同状态样本并不是一致聚类的，而相邻状态无法保留连续表盘值所暗示的局部结构。这些发现表明，现有的 MLLM 在很大程度上忽略了表盘测量任务的内在状态几何结构，而是依赖于表面的外观线索。受此诊断的启发，我们提出了 TriSCA，这是一种用于基于刻度盘的测量读数的三级状态一致对齐框架。具体来说，TriSCA 由状态距离感知表示对齐、基于元数据的观察到状态监督和状态感知目标对齐组成。对受控时钟和仪表基准的广泛消融研究和评估实验，以及对外部真实世界基准的评估，证明了我们方法的有效性。