QuadFM：用于生成和控制的基础文本驱动四足运动数据集

尽管四足机器人技术取得了重大进展，但基础运动资源仍然存在重大差距，这些资源全面整合了多样化的运动、情感表达行为和丰富的语言语义——对于敏捷、直观的人机交互至关重要。当前的四足动物运动数据集仅限于一些动作捕捉原语（例如步行、小跑、坐下），并且缺乏具有丰富语言基础的多样化行为。为了弥补这一差距，我们引入了四足基础运动（QuadFM），这是第一个大规模、超高保真度的数据集，专为文本到运动生成和一般运动控制而设计。 QuadFM 包含 11,784 个精选的运动剪辑，涵盖运动、交互和情感表达行为（例如跳舞、伸展、撒尿），每个剪辑都具有三层注释 - 细粒度动作标签、交互场景和自然语言命令 - 总共 35,352 个描述，以支持语言条件理解和命令执行。我们进一步提出了 Gen2Control RL，这是一个统一的框架，可以联合训练通用运动控制器和文本到运动生成器，从而在边缘硬件上实现高效的端到端推理。在配备 NVIDIA Orin 的真实四足机器人上，我们的系统实现了实时运动合成（<500 毫秒延迟）。模拟和现实世界的结果显示了真实、多样化的运动，同时保持了强大的物理交互。该数据集将在 https://github.com/GaoLii/QuadFM 发布。