不用眼睛也能看到：可穿戴 IMU 的 4D 人类场景理解

了解人类活动及其周围环境通常依赖于视觉感知，但摄像头在隐私、安全、能源效率和可扩展性方面提出了持续的挑战。我们探索另一种替代方案：无需视觉的 4D 感知。其目标是纯粹根据日常可穿戴传感器重建人体运动和 3D 场景布局。为此，我们引入了 IMU-to-4D，这是一个重新利用 大语言模型 来实现对人类场景动态的非视觉时空理解的框架。 IMU-to-4D 使用来自耳塞、手表或智能手机的一些惯性传感器的数据，并预测详细的 4D 人体运动以及粗略的场景结构。跨不同人类场景数据集的实验表明，IMU 到 4D 比 SoTA 级联管道产生更连贯且时间稳定的结果，这表明可穿戴运动传感器本身就可以支持丰富的 4D 理解。