STELLA：用于设备上人体活动识别的高效传感器到 LLM 转换

人们越来越期望 HAR 在边缘设备上持续运行，但最近基于 LLM 的方法仍然难以部署：原始传感器提示很长，云推理增加了延迟和隐私风险，并且经过微调的 LLM 管道将通用模型转变为特定于任务的分类器。我们推出了 STELLA，一种用于设备上 HAR 的高效传感器到 LLM 转换框架，它将负担从 LLM 适应转移到传感器标记化。轻量级分层标记器将整个多通道惯性窗口压缩为一组固定的紧凑潜在传感器标记，这些标记被投影到冻结的预训练 LLM 的嵌入空间中，并与标签评分的自然语言提示相结合。这保留了与活动相关的时间和跨通道结构，同时保持 LLM 端计算跨传感器配置的可预测性。 STELLA 还支持设备上个性化，仅在少量用户特定标记数据上调整轻量级分词器，并通过本地检索上下文增强推理，将 LLM、用户数据和检索保留在设备上。在七个公共 HAR 数据集和八个基准设置中，STELLA 实现了新的最先进的性能，比之前的方法提高了高达 11.83% F1；随着部署后用户数据的积累，设备上的个性化可进一步提高 21.91% 的 F1。 STELLA 在相同的 LLM 管道下的性能也优于代表性时间序列标记器，并在实际移动和边缘预算下实现了实时推理，这表明高效的传感器标记化是在边缘设备上实现准确、私密和个性化的基于 LLM 的 HAR 的实用途径。