合一：跨传感器骨架表示学习的通才基础模型

为了从大规模未标记数据中学习可概括的运动表示，自监督学习（SSL）已成为一种广泛采用的方法。然而，现有的方法主要受到骨架数据固有的异质性的限制——其特征是不同传感器之间不同的关节计数、索引协议和拓扑结构——这通常需要训练单独的、特定于传感器的、甚至完全特定于数据集的模型。为了克服这个问题，我们引入了 SOfA（Skeleton One for All），这是第一个通用基础模型，旨在实现跨不同传感器的传感器统一骨架表示学习。为了适应由不同关节计数引起的尺寸间隙，我们引入了一组固定大小的可学习规范关节槽，充当无缝容纳任意骨骼拓扑的通用容器。 SOfA 通过注意力机制填充这些槽，该机制动态聚合来自传感器特定输入的骨架信息。此外，我们通过引入源自预训练文本编码器的语义联合嵌入来解决各种传感器之间的联合索引未对准问题，而不是依赖于绝对位置嵌入。为了验证我们的方法，我们标准化了 10 个 3D 骨架数据集以进行统一训练。大量实验表明，SOfA 可以作为真正的通用编码器，在各种下游任务和传感器类型中实现最先进的 (SOTA) 性能，通常优于具有单一基础模型的数据集特定的专业模型。