论文

OmniNeuro:借助生成式AI与声化实现可解释脑机接口反馈的多模态HCI框架

OmniNeuro: A Multimodal HCI Framework for Explainable BCI Feedback via Generative AI and Sonification

应用与实践行业应用

摘要

虽然深度学习提升了脑机接口(BCI)的解码准确率,但这些算法的"黑箱"特性阻碍了临床应用,导致用户挫败感和较差的神经可塑性结果。我们提出OmniNeuro,一个新颖的HCI框架,它将BCI从无声的解码器转变为透明的反馈伙伴。OmniNeuro集成了三个可解释性引擎:(1)物理(能量)、(2)混沌(分形复杂度)和(3)量子启发的不确定性建模。这些指标驱动实时神经声化(Neuro-Sonification)和生成式AI临床报告。在PhysioNet数据集(N=109)上评估,该系统达到58.52%的平均准确率,定性试点研究(N=3)证实可解释的反馈帮助用户调节心理努力并缩短"试错"阶段。OmniNeuro与解码器无关,可作为任何最先进架构的关键可解释性层。

OmniNeuro:借助生成式AI与声化实现可解释脑机接口反馈的多模态HCI框架 配图
图 3:量子启发表示。该可视化让用户看到自己的“心理向量”向目标状态漂移。