通过从在线行为与脑机接口证据中学习的XR智能体增强人类表现

我们提出了 OLIVE，一个用于调整基础模型的框架，以便为时间要求高、高风险和动态的任务提供实时帮助。我们证明，被动脑电图与行为证据在线融合，可以有意义地扩展用户检测和参与的目标数量，超出其无帮助的行动带宽。 OLIVE 从显式行为信号（用户在 XR 第一人称射击游戏中击落的目标）和隐式生理信号（注视锁定脑电图）中学习，以提供及时指导，通过联合估计每个源的可靠性，无需手动标签或离线训练，不断调整冻结视觉语言模型对哪些项目与任务相关的推断。通过三项用户研究，包括 XR 中由 OLIVE 驱动的辅助代理的两次实时部署，我们表明 OLIVE Pareto 主导了先前的测试时间适应框架，以可比的收敛速度实现了最高的收敛率。 OLIVE 代理将隐式生理信号和显式行为信号相结合，在会话内对用户检测和攻击目标的能力产生最大、最可靠的改进，这在很大程度上与个人的技能无关。当目标无声切换时，同时使用行为和生理信号的智能体重新收敛速度明显快于仅行为智能体（平均快 1.27 倍，p = 0.008），在任务发生变化时恢复可靠的指导，而这恰恰是在可靠的援助最重要的时候。