PhysInOne：一套视觉物理学习和推理工具

我们推出了 PhysInOne，这是一个大规模合成数据集，解决了人工智能系统物理训练数据严重匮乏的问题。与仅限于数百或数千个示例的现有数据集不同，PhysInOne 提供了 200 万个视频，涵盖 153,810 个动态 3D 场景，涵盖力学、光学、流体动力学和磁学等领域的 71 种基本物理现象。与之前的作品不同，我们的场景具有复杂背景下的多对象交互，具有全面的 真值 注释，包括 3D 几何、语义、动态运动、物理属性和文本描述。我们展示了 PhysInOne 在四个新兴应用中的功效：物理感知视频生成、长期/短期未来帧预测、物理属性估计和运动传输。实验表明，PhysInOne 上的 微调 基础模型显着增强了物理合理性，同时也暴露了复杂物理动力学建模和内在属性估计方面的关键差距。作为同类中最大的数据集，其数量级超出了之前的工作，PhysInOne 为在生成、模拟和具体人工智能方面推进基于物理的世界模型建立了新的基准。