PackLab：用于开发、训练和评估机器人装箱中的 MLLM 的综合框架

机器人装箱需要长期连续决策，因为每个物体的放置都会影响后续装箱的可用空间。现有的方法主要依赖于手工设计的几何启发式方法，这些启发式方法可以优化预定义的目标或通过对预定义的训练配置进行试错来学习的强化学习策略。尽管最近在用于此任务的多模态大语言模型 (MLLM) 方面取得了进展，但它们跨异构包装配置的闭环顺序决策的潜力仍未得到充分开发。为了弥补这一差距，我们推出了 PackLab，这是一个用于开发、训练和评估用于闭环机器人装箱的 MLLM 的综合框架。 PackLab-Suite 提供了一个基于物理的模拟平台，用于可扩展地生成不同的训练打包轨迹并评估其物理结果。 PackLab-VLM 是一种包装专用 MLLM，它了解不断变化的对象和容器状态，以闭环方式联合选择对象并预测放置。 PackLab-Bench 提供多个难度级别的标准化包装场景，以进行系统评估。大量实验表明，平均而言，PackLab-VLM 在对象集和容器配置方面优于传统包装启发法、传统强化学习方法和通用 MLLM，凸显了 MLLM 在长范围机器人包装方面的潜力。代码、模型、数据集和基准可在此 https URL 获取。