论文

ARC-Bench:闭环重规划如何掩盖冻结JEPA世界模型的动作排序缺陷

ARC-Bench: Closed-Loop Replanning Masks Broken Action Ranking in Frozen JEPA World Models

模型评测评测方法与指标

摘要

无奖励潜在世界模型通过冻结潜在空间中的距离为候选动作评分:预测的未来嵌入越接近目标嵌入,动作越优先。这隐含假设潜在接近程度可以正确排序动作,即按潜在距离排序与按真实成本排序一致。我们直接审计这一假设,提出无泄漏、固定候选的 ARC-Bench 协议,检验冻结的 JEPA 风格目标能否正确排序动作,并用于官方发布的 JEPA-WM 检查点,覆盖导航和操控任务。假设出现严重且结构性的失效:官方操控测试中最高分候选几乎总是次优,迷宫任务也出现相同排序反转。受控视觉主干扩展表明,用 ViT-L/ViT-G 规模、经视频预训练的 V-JEPA 1 或 V-JEPA 2 替代 DINOv2 后,缺陷仍然存在。对来源、训练不足、匹配预算的主干及指标循环性的控制排除了简单解释。我们进一步解释为何问题一直被掩盖:闭环重规划弥补了它。降低重规划频率后,导航和操控任务的成功率均大幅下降;PointMaze 的首次规划诊断显示,频繁重规划挽救的任务尤其常伴随严重的首次排序失败。因此,闭环成功率会系统性高估冻结潜在表示的动作排序能力。对于通过适配、摊销或重规划绕开潜在空间规划器缺陷、却不直接检验已发布 JEPA-WM 排序能力的方法,ARC-Bench 提供了测量方式,重规划掩盖机制提供了问题解释。

ARC-Bench:闭环重规划如何掩盖冻结JEPA世界模型的动作排序缺陷:论文配图
图 1:官方 JEPA-WM 目标对操纵式控制的固定候选对象进行了错误排名。左:官方 L2 目标下的错误锚点率和 Hit@1(750 个锚点审核,五个种子)。右:平均 top-1 遗憾,引导间隔为 95%。