论文

世界动作模型测试时搜索审计同时核候选信号、真实提速与模拟完整性

When Does Test-Time Search Help World Action Models? An Empirical Audit of Candidate Selection and Simulator Integrity

模型评测模型推理应用与实践测试时计算扩展评测方法与指标机器人

摘要

世界动作模型越来越多地使用测试时计算扩展,将额外的推理计算投入候选选择和自适应分配,以改进控制。只有当候选包含可利用的决策信号、名义上的计算节省转化为真实加速、且评估保持可靠时,这些收益才可信。我们采用先核验前提、并预先注册的方法,在 Cosmos Policy 和 RoboCasa 上审计了这三个方面。在无污染数据上,学习得到的价值选择器比随机选择差 1.66 个百分点;事后知道最佳结果的理想选择器仅提升 1.40 个百分点,且回合层面的区间包含零;82% 的状态下,候选结果完全一致,留给选择机制的提升空间很小。Token 剪枝可将单次前向计算的 FLOP 降低最多 47%,但在实际部署路径上测得的端到端加速最多为 1.15 倍(排除解码的路径为 1.25 倍),未达到 1.5 倍的目标;在统计功效门槛约束下,自适应分配实验也无法得出明确结论。我们还发现并修复了一个不会主动报错的渲染损坏问题:其发生率沿计算密集型规划路径显著上升,但不影响官方直接策略的结果。我们公开了检测器、修复方案和脚本。这些发现说明,应把测试时计算扩展作为一系列相互衔接的前提——决策信号、实际效率和评估完整性——进行审计,而非仅看成功率。结论仅适用于所测试配置。

世界动作模型测试时搜索审计同时核候选信号、真实提速与模拟完整性:论文配图
图5:先验证前提的方法形成一系列关卡。每个候选测试时扩展收益获认可前,依次通过三项检查:以因果消融和预言机上限确认决策信号存在;通过统计功效门槛,停止无法分辨预注册结果的运行;在帧缓冲哨兵检查渲染完整性的条件下进行闭环测量。第一关的“否”报告阴性结果,第二关的“否”报告结论不确定,从而区分真实阴性与功效不足或无效的测量。