沙丘社区
论文

Sensorium统一手术机器人多模态采集、语言标注与回合数据生成

Sensorium: An Open-Source Multimodal Data Collection and Curation Library for Embodied Surgical AI

Lorenzo Mazza; Ariel Rodriguez; Stefanie Speidel
AI 基础设施数据基础设施

摘要

具身手术人工智能需要可靠的多模态数据，但手术数据收集仍然成本高昂、难以重复，并且强烈依赖于硬件设置。我们推出 Sensorium，这是一个开源 Python 库，用于使用机器人操作系统 (ROS) 和 ROS2 中间件记录、处理、注释和管理来自可配置机器人和传感器流的多模态手术数据。该库结合了面向操作员的数据采集、可配置处理、语义注释和按实验回合组织的数据集生成。我们通过 1,516 段涵盖仿体、离体及活体猪实验的记录来评估 Sensorium，涉及多种手术任务和传感配置，并报告初步的可用性反馈。

Sensorium统一手术机器人多模态采集、语言标注与回合数据生成：论文配图
图2：Sensorium流程概览。浏览器界面支持（a）多模态记录，（b）回合审核与语义标注。记录流保存为原始回合，经过不依赖ROS的数据整理流程，再导出为按回合组织的CSV或LeRobot v3数据集。