用于现实世界运动语言模型的即插即用 2D 运动接口

运动语言模型 (MoLM) 通常通过标记 3D 运动并使用语言模型处理生成的标记来理解人体运动。然而，从单目视频中获取准确的 3D 运动具有挑战性，限制了它们在现实世界中的适用性。为了解决这个问题，我们引入了一种即插即用的 2D 运动接口，使 3D 预训练的 MoLM 能够接受 2D 运动输入，而无需修改或 微调 原始模型。对公共数据集的实验表明，我们的方法在多个 MoLM 上实现了与 3D 运动输入相当的性能，并且在 2D 运动上优于从头开始训练 MoLM。我们进一步构建了单眼真实世界视频运动评估数据集，并引入了真实视频适配器，证明了在评估的单眼姿势估计设置下 2D 运动相对于 3D 运动的有用性。这些结果表明，2D 运动为在现实世界的运动理解环境中部署 MoLM 提供了一个实用的接口。代码可在 https://github.com/irajisamurai/2D-Motion-Interface 获取。