事实：世界行动模型的故障感知因果训练

摘要

最近的世界行动模型（WAM）表明，联合训练策略与未来预测可以为行动生成提供物理先验。基于视频模型的未来预测能力，许多 WAM 生成未来视频并使用逆动态模型恢复动作，或者使用这些预测视频作为动作生成的目标条件。在这两种情况下，世界模型主要是根据成功的示范进行训练的，几乎没有理由预测不良行为的后果。我们引入 FACT，一种因果世界动作模型，可以根据执行的动作预测未来的视频和任务进度。这种以行动为条件的界面允许失败轨迹来监督行动后果，将不良行动转变为有效的未来目标而不是被丢弃。失败感知训练使进度预测器意识到成功和失败的行动结果，这可以选择用于在推理时对采样的候选行动进行评分。对模拟和现实世界的双手操作任务进行的大量实验表明，FACT 的性能优于许多现有基线，随着失败数据纳入训练而得到改善，并减少在不良行为下偏向于成功的未来幻觉。请访问 https://fact-wam.github.io/ 查看更多详细信息