超越视觉质量：使用世界行动模型进行测试时间规划的研究

世界行动模型生成行动及其后果的视觉预测。这些配对的输出通过对一个状态的多个行动进行采样、比较它们的想象结果并选择最有希望的预测结果的行动，创造了规划的潜力。然而，如何利用想象的未来来指导行动选择仍不清楚。我们根据经验检验了这种规划潜力。首先，我们通过选择实现结果最好的抽样候选者来估计选择的预言机上限。在受控的同状态分析中，这种选择将成功率从均匀随机选择下的 68.9% 提高到 79.2%。然后，我们根据视觉质量、物理一致性和任务进展作为受控干预来测试选择器。一些经过测试的选择器产生了更高的观察到的成功率，但收益并不均匀，并且匹配的选择器留下了大部分未回收的测量机会。为了调查这一差距，我们检查采样的行为是否会导致不同的结果，这些差异在预测中是否可见，以及分数是否能够识别它们。来自相同状态的反事实分支表明，选择机会集中在初始候选集中相对较少的决策中。行动范围和结果覆盖范围无需同时增加。在具有完整动作执行的轨迹阶段的进一步评估中，尽管从学习值中获得了微小的收益，但测试的分数再次恢复了很少的可用改进。这些发现将产生相应的行动选择与在生成的未来中识别它们区分开来，通过它们对决策的有用性而不是仅仅通过视觉质量来激发对 WAM 预测的评估。