论文

从Clever Hans到科学发现:用LRP解读EEG基础Transformer模型

From Clever Hans to Scientific Discovery: Interpreting EEG Foundational Transformers with LRP

模型评测模型行为与机制分析

摘要

脑电图(EEG)领域新兴的基础模型(FM)有望在数据稀缺的情况下为诊断和脑机接口中的深度学习规模化提供一条路径,但其不透明的特性仍是更广泛采用的障碍。我们研究注意力感知的逐层相关性传播(LRP)作为EEG基础模型的事后归因方法,将LRP在基于卷积神经网络(CNN)的EEG模型上的应用扩展到当前基础模型所基于的Transformer架构。我们发现LRP既能验证EEG基础模型的决策,又能从中揭示新颖且具有生物学合理性的假设。在运动想象中,它揭穿了“Clever Hans”行为,即模型优先利用与任务相关的眼部信号而非预期的运动相关特征。在一个用于情感预测的自然情境范式中,它揭示了模型反复依赖一个中央电极簇,提示了一个候选的唤醒感觉运动特征。尽管在这一复杂领域中热图解读仍存在歧义,但结果表明LRP可作为EEG基础模型验证与探索的工具,随着底层模型走向成熟,这一角色的重要性和发现潜力都将不断增长。

从Clever Hans到科学发现:用LRP解读EEG基础Transformer模型:论文配图
图 1:使用维度注释可视化新兴决策模式的流程。上图:toutt_{\text{out}} 属性是根据示例创建的,每个分类决策都有一个属性(此处:高或低唤醒/效价)。下图:对所有示例进行聚合后,创建空间和时间聚合。为简洁起见,仅显示三个频道。连接箭头表示聚合。