ManiSoft：迈向软连续体机器人的视觉语言操作

大多数现有的视觉语言操纵研究都针对刚性机械臂，其固定的形态限制了在杂乱或密闭空间中的适应性。软机械臂由于其可变形性而提供了一种有吸引力的替代方案，但面临着诸如不可靠的本体感受和分布式低水平驱动等挑战。为了研究这些挑战，我们引入了 \ManiSoft，这是使用软臂进行视觉语言操作的基准。 ManiSoft 具有定制的模拟器，可通过弹力约束将真实的软体动力学与丰富的接触交互结合起来。在此基础上，ManiSoft 定义了四个任务，每个任务都强调了可变形控制的不同方面，从基本的末端执行器协调到避障。为了支持策略训练和评估，\ManiSoft{} 包含一个自动化管道，可生成 6{,}300$ 的不同场景和相应的专家轨迹。为了大规模生成高质量轨迹，我们首先采用高级规划器将每个任务分解为一系列航路点，然后采用低级强化学习策略生成扭矩命令来跟踪航路点。对三个代表性策略模型进行基准测试显示，在干净的场景中结果相对较好，但在随机化下性能大幅下降。可视化分析表明，失败主要源于对本体感受状态的不准确视觉估计以及对自适应避障的变形性利用有限。我们预计 ManiSoft 将成为一个有价值的测试平台，在视觉语言操纵的背景下弥合硬臂和软臂之间的差距。代码和数据集发布于 https://buaa-colalab.github.io/ManiSoft。