HALO：用于开放集人类活动识别的异质性感知语言对齐 IMU 基础模型

使用惯性测量单元 (IMU) 的人类活动识别 (HAR) 可实现广泛的应用，但该领域仍然缺乏可以跨不同主体、设备和活动进行推广的统一模型。由于两个关键挑战，训练这样的模型很困难：感知异质性——采样率、通道配置和传感器放置的差异——以及对看不见的活动和标签词汇的泛化能力差。我们引入了 HALO（异构感知语言对齐开放集模型），这是一种特定领域的 IMU 基础模型，它通过两阶段训练框架解决这两个挑战。第 1 阶段使用异构感知自监督学习对 IMU 编码器进行预训练，包括自适应池标记化、通道独立特征提取以及将自然语言传感器描述注入每个通道嵌入的上下文化传感器调节。第 2 阶段通过同义词感知软对比学习将该 IMU 编码器与文本嵌入对齐，从而通过余弦相似性检索实现开放集识别，而无需每个数据集分类器。在 10 个公共 HAR 数据集上进行训练并在 7 个保留数据集上进行评估后，HALO 在所有 8 个聚合指标上均优于 5 个最先进的基线，并且在基线匹配输入下的 4 个设置中的 3 个上仍然领先。尽管仅使用约 35M 可训练参数（比最新基础模型 MOMENT (341.2M) 少 10 倍），但 HALO 将零样本开放集精度（在所有 87 个训练标签上进行测量）提高了 13.7 个百分点。在另外两个具有严重分布变化的数据集上，包括 HALO 在内的每个模型都崩溃了零样本。有关 HALO 在现实世界中的性能的视频演示，请访问 https://youtu.be/rooVKragtFU