$N_0$-基础：迈向触觉智能时代

我们提出了 $N_0$-Foundation，这是一种支持触觉的具体操作范例，它集成了触觉传感硬件、大规模多模态数据、触觉表示学习和标准化评估。首先，我们设计了可扩展数据收集的基础设施，包括基于视觉的触觉传感器、触觉通用操纵接口（UMI）以及支持机器人实施例和基于 UMI 演示的同步视觉触觉数据收集系统。利用这一基础设施，我们构建了 NeoData，其中包含超过 30000 小时的同步视觉和触觉演示，涵盖六个实施例、450 个任务，以及通过真实机器人远程操作和基于 UMI 的演示的混合收集的数十亿配对 RGB 和触觉帧。为了促进开放研究，我们进一步发布了 OpenNeoData，这是 NeoData 的一个 5000 小时的开源子集。该数据集解决了现有操纵语料库的核心限制，这对于可变形物体操纵、精确组装、精细力控制和持续表面交互至关重要。利用大规模、异构的触觉测量，我们提出了 NeoForce，一种视觉触觉表示模型，可以学习跨不同传感器设计的可转移触觉表示。为了能够对基于我们的基础设施、数据集和触觉表征构建的触觉具体化模型进行系统评估，我们进一步提出了一个综合基准，它将现实世界的 NeoReal 套件和模拟的 NeoSim 套件结合起来进行标准化评估。两个套件的实验表明，策略受益于物理接触状态，而不是设备特定的触觉信号外观。我们发布了数据集、表示形式和基准，旨在支持未来的触觉实体操作工作。