HEARTH：用于温度感知机器人操作的以对象为中心的 RGB-Thermal-3D 数据集

语言引导的操作可能依赖于可见外观无法揭示的物理特性。温度就是这样的属性之一，但用于机器人学习的对象数据集很少将测量的温度与对象的外观和几何形状相关联。我们提出了 HEARTH，一个以对象为中心的 RGB-热-3D 数据集，包含来自 18 个日常类别的 90 个物理对象，包括 145 个捕获的对象状态。我们的管道通过相机校准和姿态转移将表观表面温度映射到重建的网格上。该数据集包括原始温度测量值、相机参数、RGB 纹理网格和用于模拟的热纹理。我们使用这些资产构建三个 LIBERO 派生任务，并收集 1,200 个演示，用于微调预训练的视觉语言动作 (VLA) 模型 $\pi_{0.5}$。在一项消融研究中，将热观测添加到 VLA 可以将温度相关的对象选择任务的成功率从仅 RGB 基线的 35.0% 提高到 75.0%。这些结果证明了 HEARTH 在训练机器人策略以遵循与温度相关的指令方面的实用性。