论文
TRACE-TS:用于人类活动理解的归因支撑与可追溯传感器语言推理
TRACE-TS: Attribution-Grounded and Traceable Sensor-Language Reasoning for Human Activity Understanding
摘要
可穿戴传感器捕捉精细运动模式,支持丰富的行为理解,但大多数现有方法将这些信号简化为活动标签。最近基于LM的方法生成自然语言解释,但其推理基于底层信号的弱基础,导致流畅但不可验证的解释。我们引入TRACE-TS(可追溯推理与证据导向的证据),这是一种用于可穿戴时间序列的结构化和信号导向推理框架。TRACE-TS 使用专家分类器的证据来识别突出的时空传感器区域,并使用这些证据来构建带有明确证据来源的有向图推理轨迹,然后通过门控交叉注意力训练一个紧凑的语言模型来生成这些轨迹。在推理过程中,适应模型同时输出活动预测和推理轨迹,无需计算证据或教师指导。我们引入Semantic Node Match(SNM),一种LLM作为裁判的度量,诊断推理的准确性在观察、推理和合成水平,定位标准NLG度量未能发现的幻觉观察和断裂证据链。在七个可穿戴基准测试中,TRACE-TS 在所有评估方法中实现最佳平均准确率和F1分数(84.43%/81.24%),并且在F1分数上优于所有基于LLM的基准中最多17.96%。我们的代码可在https://github.com/SparshRastogi/TRACE-TS处获取。
