论文

RAG-HAR+:实现基于 LLM 的经济高效的人类活动识别以进行边缘部署

RAG-HAR+: Towards Cost-Efficient LLM-Based Human Activity Recognition for Edge Deployment

上下文与知识检索增强

摘要

可穿戴传感器的人体活动识别 (HAR) 支持医疗保健、康复、健身跟踪和智能环境中的应用。然而,现有的深度学习方法需要特定于数据集的训练、大型标记语料库以及反复适应新的传感器设置或活动分类法。人类活动识别的检索增强生成 (RAG-HAR) 通过将 HAR 构建为 无需训练 检索增强任务来解决此问题,其中传感器窗口的统计描述用于检索指导基于 LLM 的分类的类似标记示例。我们引入了 RAG-HAR+,这是一种检索优先且成本优化的扩展,可以增强检索,同时减少对基于 LLM 的推理的依赖。 RAG-HAR+ 使用离线检索设计器代理从不同的运动描述符池中设计特定于数据集的特征组,从而能够使用与特定于数据集的活动模式更好地对齐的特征来比较传感器窗口。在推理过程中,RAG-HAR+ 对检索到的邻居进行多数投票,以获取具有强大检索证据的样本,并仅将不确定的情况推迟到基于 LLM 的歧义解析器代理。在六个 HAR 基准测试中,RAG-HAR+ 保持具有竞争力或改进的性能,同时减少 LLM 使用、词元消耗和推理时间。我们进一步扩展了 RAG-HAR 移动原型,以证明检索优先、LLM 辅助 HAR 在移动传感场景中的实际可行性。