ViTexSZ：用于脑电图癫痫发作检测的异构视觉文本知识蒸馏

摘要

脑电图 (EEG) 的自动癫痫发作检测对于连续神经学监测至关重要，特别是对于可能仅表现出细微电图变化的亚临床癫痫发作。现有的时间序列方法通常是针对固定脑电图通道配置而设计的，从而限制了它们对具有不规则通道布局的异构脑电图记录的适用性。尽管视觉和语言建模提供了有希望的替代方案，但将异构脑电图表示与临床语义相结合仍然具有挑战性。我们介绍 ViTexSZ，这是一种用于脑电图癫痫发作检测的异构 Vision-Text 知识蒸馏框架。 ViTexSZ 将脑电图记录转换为结构化波形图像，并引入基于查询的多通道对齐模块，将依赖于源的视觉特征映射到统一的标记空间中。异质教师通过多模态大语言模型将对齐的脑电图表示与临床提示进一步整合，将高级临床语义与癫痫相关证据相关联。然后，视觉文本知识蒸馏在检测过程中将教师表示传输给轻量级学生。对四个 EEG 癫痫数据集的实验证明了 ViTexSZ 在亚临床和一般癫痫检测场景中的普遍性，在所有数据集上实现了最高的准确度，并且相对于第二好的基线提高了高达 12.9%，显示了其有效性。