论文

几何崩溃:当视觉模型无法验证物理因果关系时

Geometric Collapse: When Vision Models Fail to Verify Physical Causality

模型评测模型行为与机制分析

摘要

大规模自监督学习的最新进展改进了密集几何预测,但仍不清楚这种缩放是否会产生推理时间物理合理性检查。我们提出了 Scrambled Edges,一种受控的反事实,它注入显着的边缘状线索,同时违反表面连续性、照明相干性和遮挡顺序。通过能量匹配和结构匹配控制,我们将无支持的边缘证据的影响与高频能量和边缘稀疏性隔离。在 NYU Depth v2 和 KITTI 上的 CNN/ViT/SSL 深度预测器中,与能量匹配噪声相比,扰乱边缘导致的干净预测偏差高达 3.2 倍;额外的扩散和流量匹配深度估计器显示出减弱但仍然显着的崩溃。由此产生的几何崩溃会在全球范围内传播:即使有损坏区域的预言机知识,输出级修复也只能恢复 47%,并且在掩码之外存在大量错误。这些发现提供了受控行为证据,表明当前的密集预测因子缺乏可靠的机制来隔离物理上不受支持的边缘线索,从而激发明确的合理性评分和选择性线索整合。