BOKBO(Best of K Bad Options):VLA 政策的校准弃权
BOKBO (Best of K Bad Options): Calibrated Abstention for VLA Policies
摘要
视觉语言动作 (VLA) 策略、方法(例如 RoboMonkey、SEAL、MG-Select 和 V-GPS)的测试时间缩放,在推理时对 K 个候选动作块进行采样,并执行验证者最佳结果。当所有 K 个候选者都不安全时,系统会在没有警告的情况下执行违规操作。我们提出了 BOKBO,用于 K 样本 VLA 推理的第一个共形弃权层,为执行违规率提供有限样本无分布保证。我们提供全局和每个任务(蒙德里安)变体,每个任务变体缩小了最困难任务的条件差距。我们的分析揭示了基于扰动的 K 采样下政策内部不符合分数的结构性失败:基本政策置信度代理和 K 样本分歧与动作噪声超参数 $σ$ 的相关性为 0.98,而本底噪声与实际安全违规的相关性为 0.98。我们通过复制 词元级 温度采样下的分析来测试故障的范围,发现故障是特定于机制的,并且在基于策略随机性的采样下得到了部分缓解。以语义视觉特征和任务身份为条件的学习违规预测器支持严格校准:在使用 OpenVLA-OFT 的 libero_object_temp_x0.1 上,$ε$ = 0.05 时,条件 CRC 边界保持在 86% 的引导分割上,覆盖率为 78%,净任务成功率为 70%。 Mondrian-BOKBO 将每个任务的最小条件保留分数从 0.71 提高到 0.93。结果在 5 个训练种子中保持稳定,在 $π_0$-FAST 上的引导噪声内复制,将 libero_spatial_temp_x0.1 作为同等基准,并在四次套件内分布变化中幸存下来。我们还发现并纠正了一个方法论陷阱:全球设定的力量阈值远低于专家典型的操纵力,将不安全行为与正常操纵混为一谈,使违规率增加了 5 倍。