非侵入式消费者大脑计算机接口实现的多模式多代理机器人认知对齐：概念探索证明

虽然非语言行为和表达动作对于自然的人机交互至关重要，但现有方法往往忽略了一个关键要素：人类的内部认知状态。通常，主动多智能体系统会在不合时宜的时刻打断人类，导致认知过载和任务绩效下降。本文介绍了一个用于生成“认知一致”多智能体交互的框架，增强了机器人系统在人类精神负荷和参与度较高的时刻根据上下文推迟与智能体系统用户的通信的能力。我们提出了一个闭环架构的设计和实现，该架构探索自主任务执行和实时神经生理学焦点之间的相互作用。我们的方法使用消费级脑机接口 (BCI)，在人类执行吸引参与的任务时持续监测脑电图 (EEG) 频谱带功率。我们提出了一种参与驱动的管道，其中基于 HTTP 的信令机制在检测到高参与度时将主要代理的感官输入和音频输出置于保持状态。这使得辅助代理可以在后台无缝处理复杂的委派任务。一旦人类的认知状态返回到较低的认知负荷基线，主代理就会释放排队的代理消息。我们的初步结果证明了利用实时信号处理、大语言模型 (LLM) 和物理机器人实施例来创建认知感知、非侵入式多代理系统的可行性。