论文

Pipette:湿实验室机器人的具体仿真平台、基准和数据高效增强框架

Pipette: An Embodied Simulation Platform, Benchmark, and Data-Efficient Augmentation Framework for Wet-Lab Robotics

模型训练合成数据

摘要

湿实验室机器人可以提高生物医学实验的可重复性、吞吐量和安全性,但扩展其学习需要可定制的模拟器来生成安全且可重复的任务、开放可编辑的实验室资产以及将有限的演示转化为可用的训练数据的高效管道。我们推出 Pipette,一个用于湿实验室机器人学习的具体模拟平台、基准测试和数据高效增强框架。 Pipette 通过可扩展的资产构建管道提供 100 多个开源和可重新编辑的湿实验室资产,并内置腾讯混元支持文本和图像条件 3D 资产生成,并通过用于任务构建、数据收集、增强和评估的统一模拟接口支持三种机械臂实施例。 Pipette 的一个关键组件是其基于模拟的数据增强管道,它在模拟中重放人类演示,应用照明、摄像机、速度和动作扰动,并通过自动任务成功检查过滤生成的事件,从有限的手动演示中快速扩展可用的训练数据。我们进一步介绍了包含 12 项任务的湿实验室具体基准,涵盖样品处理、培养皿操作、设备操作和精确放置。每个任务仅进行 30 次演示,ACT 的平均成功率达到 60.3%,而模拟增强将 SmolVLA 从 40.4% 提高到 71.8%,pi0 从 37.3% 提高到 44.1%,验证了 Pipette 在数据高效的 VLA 训练和评估方面的有效性。 Pipette 还支持自然语言驱动的场景构建和任务注册,降低非专家用户定义新湿实验室机器人任务的障碍