ActivityNarrated：用于理解可穿戴人类活动的开放式叙事范式

可穿戴人体活动识别（HAR）已经取得了稳步进展，但其中大部分进展仍然基于固定窗口、封闭集分类基准。这种表述与日常行为不太相符，因为日常活动是开放式的、无脚本的、个性化的、持续时间可变的，而且通常是组合性的。为了解决这种不匹配问题，我们引入了 ActivityNarlated，这是一种开放式叙事范式，用于基于语言的可穿戴活动理解。我们将此设置制定为密集传感器信号描述，并具有全面的基准协议，该协议可测量时间定位、描述质量、传感器语言对齐、作为下游诊断的传统闭集分类以及其他稳健性措施。我们进一步提出了 ActNarrator，这是一种 3 阶段架构，它将连续的 IMU 信号离散化为可重复使用的运动标记，并使用外部冻结的小语言模型来生成开放词汇活动描述。实验表明，我们的方法提供了具有卓越适应性和鲁棒性的高质量密集传感器描述，通过将基于传感器的人类活动理解转化为基于传感器的文本级推理来实现各种下游任务。这包括下游分类，其中 ActNarrator 在 Macro-F1 中的性能优于最先进的 HAR 模型 3.8 - 31.6%。这种范式还实现了新颖的活动理解能力，例如长期复杂的问答。