开源项目

DiT4DiT:视频生成联合流匹配动作预测的机器人控制官方实现

Mondo-Robotics/DiT4DiT

概述

DiT4DiT由Mondo-Robotics发布,是其方法的官方实现,核心思路为将视频生成与基于流匹配的动作预测联合建模,用同一套骨干网络同时产出未来视觉预测与机器人动作,再以此驱动机器人控制。联合建模让动作决策能参考生成的视觉想象,有望提升长时序操作的连贯性。仓库环境配置与支持机型需以仓库说明为准。