论文

TRACE-TS:用于人类活动理解的归因支撑与可追溯传感器语言推理

TRACE-TS: Attribution-Grounded and Traceable Sensor-Language Reasoning for Human Activity Understanding

模型训练监督微调与指令调优

摘要

可穿戴传感器捕捉精细运动模式,支持丰富的行为理解,但大多数现有方法将这些信号简化为活动标签。最近基于LM的方法生成自然语言解释,但其推理基于底层信号的弱基础,导致流畅但不可验证的解释。我们引入TRACE-TS(可追溯推理与证据导向的证据),这是一种用于可穿戴时间序列的结构化和信号导向推理框架。TRACE-TS 使用专家分类器的证据来识别突出的时空传感器区域,并使用这些证据来构建带有明确证据来源的有向图推理轨迹,然后通过门控交叉注意力训练一个紧凑的语言模型来生成这些轨迹。在推理过程中,适应模型同时输出活动预测和推理轨迹,无需计算证据或教师指导。我们引入Semantic Node Match(SNM),一种LLM作为裁判的度量,诊断推理的准确性在观察、推理和合成水平,定位标准NLG度量未能发现的幻觉观察和断裂证据链。在七个可穿戴基准测试中,TRACE-TS 在所有评估方法中实现最佳平均准确率和F1分数(84.43%/81.24%),并且在F1分数上优于所有基于LLM的基准中最多17.96%。我们的代码可在https://github.com/SparshRastogi/TRACE-TS处获取。

TRACE-TS:用于人类活动理解的归因支撑与可追溯传感器语言推理:论文配图
图2:所提出 TRACE-TS 框架整体方法示意。传感器数据先由可解释的人类活动识别(HAR)分类器处理,并使用 IG 与 SHAP 进行归因;教师大语言模型生成参考 DAG 推理;带门控交叉注意力适配器的冻结学生语言模型,从传感器记忆 token 中学习生成推理。