论文

超越二元成功:细粒度操作的诊断元评估框架

Beyond Binary Success: A Diagnostic Meta-Evaluation Framework for Fine-Grained Manipulation

模型评测评测方法与指标

摘要

细粒度的操作标志着全局场景上下文不再足够的状态,成功取决于局部属性基础、高保真空间感知和尊重约束的运动执行的紧密耦合。然而,当前的具体 AI 基准将这些能力分解为二进制成功率,系统地将报告的能力夸大了 70%,并掩盖了阻碍现实世界部署的架构瓶颈。我们引入了 MetaFine,一个诊断元评估框架,它沿着三个轴解开操作能力:理解、感知和受控行为。 MetaFine 建立在组合任务图的基础上,吸收异构外部基准,并在统一协议下将其重构为不同复杂度的诊断场景。通过这个镜头评估最先进的视觉-语言-动作(VLA)模型会暴露出传统指标无法看到的严重的特定维度故障。通过有针对性的因果干预,我们发现视觉编码器保留局部空间结构的能力是细粒度精度的关键瓶颈:改进它可以直接解锁以前无法访问的操作能力,而无需修改下游策略。 MetaFine 进一步支持混合真实模拟验证,使用有限的配对现实世界部署来校准可扩展的基于模拟的估计,以获得更稳定的物理基准测试。通过将评估从排名转向诊断,MetaFine 将基准测试转变为可操作的指南针,用于修复真正身体灵活性背后的分层能力。 MetaFine 框架、基准测试和支持资源将在我们的项目页面公开发布:https://metafine.github.io/。