论文

VLA-ATTC:具有相对动作批评模型的 VLA 模型的自适应测试时间计算

VLA-ATTC: Adaptive Test-Time Compute for VLA Models with Relative Action Critic Model

模型推理测试时计算扩展

摘要

视觉-语言-动作(VLA)模型在具体操作方面表现出了卓越的能力和泛化能力。然而,他们的决策依赖于快速、本能的过程,缺乏深思熟虑。当面对需要更多考虑的复杂或模糊场景时,这种策略通常会导致次优或灾难性的行动。在本文中,我们介绍了 \textbf{VLA-ATTC},一个赋予 VLA 模型自适应测试时间计算(TTC)的框架。 VLA-ATTC 采用基于不确定性的“认知离合器”,在必要时动态地从反射性执行过渡到 TTC 审议阶段。在 TTC 阶段,一种新颖的相对动作批评家(RAC)模型通过成对比较从生成的候选者中识别出最佳动作。这种相对机制取代了不稳定的绝对值估计,显着简化了学习目标。此外,我们引入了一种有效的采样策略来分摊计算成本,以及一个自动数据管道,可以在无需手动注释的情况下管理偏好对。在 LIBERO-LONG 基准测试上,VLA-ATTC 将 SOTA 模型 PI0.5 的故障率降低了 50% 以上。我们将开源所有代码和权重。