论文

AnyMo:野外人体运动的几何感知设置不可知建模

AnyMo: Geometry-Aware Setup-Agnostic Modeling of Human Motion in the Wild

模型训练预训练

摘要

随着可穿戴和移动设备越来越多地融入日常生活,它们提供了一种在野外持续感知人体运动的实用方法。但惯性信号高度依赖于传感设置,包括身体位置、安装位置、传感器方向、设备硬件和采样协议。这种设置依赖性使得学习跨设备和数据集传输的运动表示变得困难,并限制了可穿戴 IMU 在闭集识别之外的更广泛使用。我们介绍 AnyMo,一个几何感知框架,用于与设置无关的人体运动建模。 AnyMo 在密集的身体表面放置上使用基于物理的 IMU 模拟来生成多样化且可信的合成信号,根据成对的合成放置视图和屏蔽的部分观察结果预训练图形编码器,将多位置 IMU 标记为全身运动标记,并将这些标记与 LLM 对齐以实现运动语言理解。我们在三个互补任务上评估 AnyMo:跨 14 个未见过的下游数据集的零样本活动识别、跨模式检索和可穿戴 IMU 运动字幕,其中它在 HAR 上将平均准确度/F1/R@2 提高了 11.7\%/11.6\%/22.6\%,将零样本 IMU 到文本和文本到 IMU 检索 MRR 提高了 15.9\% 和 28.6\%,分别将零样本字幕 BERT-F1 提高了 18.8%。这些结果支持 AnyMo 作为野外可穿戴运动理解的通用模型。项目页面:https://baiyuchen.com/project/AnyMo。