将信号转换为语言以进行基于 sEMG 的活动识别

近年来，基于表面肌电图（sEMG）信号的活动识别引起了越来越多的研究关注。为了开发精确的基于表面肌电信号的活动识别器，人们提出了多种方法。一些研究侧重于设计更大、更具表现力的模型架构，以增强表面肌电信号的表征能力，而另一些研究则旨在通过大规模预训练来丰富模型先验，从而提高识别性能。最近，大语言模型（LLM）在自然语言处理方面表现出了卓越的泛化和推理能力，其从广泛的动作语言描述中学习到的隐性知识，为解释表面肌电信号和推断活动意图开辟了新的可能性。受此启发，我们提出了 LLM-sEMG，这是一种利用 LLM 作为 sEMG 活动识别器的新颖框架。在此框架内，我们设计了一种面向语言的映射机制，将连续的 sEMG 序列转换为 sEMG 语言，集成多种策略以进一步促进信号到语言的映射过程。大量实验表明，所提出的框架使用 大语言模型 实现了高度准确的基于 sEMG 信号的活动识别。