脑-语言-动作 (BLA) 模型：用于机器人控制的语言条件脑电图

基于脑电图（EEG）的机器人控制通常被表述为直接分类问题，其中电神经信号被映射到一组固定的离散动作。然而，脑电图信号的有限可分离性和高噪声使得很难将这种方法扩展到细粒度的机器人控制空间。我们引入了脑-语言-动作（BLA）模型，这是一个框架，其中语言决定了机器人动作生成的神经表征的解释。在 BLA 中，一小组可靠可区分的大脑状态可以通过语言定义的控制映射与不同的动作动态关联，从而允许少量的神经类应用于更大的全局动作空间。我们使用 BCI竞赛 IV 2a 数据集中的运动想象脑电图开发了用于无人机控制的概念验证 BLA。 The system is trained in two stages.首先，我们使用特定于主题的四类运动图像分类来评估多个候选 EEG 编码器架构，将 250Hz、3.5 秒、22 通道 EEG 样本转换为 5 个 128 维大脑词元嵌入。其次，这些嵌入被投影到预训练的 大语言模型 (LLM) 的嵌入空间中，并与语言指令联合微调，以自回归生成结构化的三词元无人机动作。在四种神经状态和七种飞行动作组合之间的 840 种可能的语言定义映射中，生成的 BLA 在评估过程中实现了 90% 的每个标记准确率。这些结果初步证明，语言调节可以扩大基于脑电图的机器人接口的有效控制范围，而不需要相应增加可直接区分的神经状态的数量。