设备护照：使时空预训练模型能够跨输入布局进行泛化

由于缺乏每个特定布局的大型数据集，新的设备布局提出了具有挑战性的建模问题。如果生物信号基础模型能够有效地推广到新的布局，那么它们将提供一个合理的解决方案。为了改进跨布局传输，我们研究了当预训练布局与下游解码布局有很大不同时，不同通道嵌入技术的表现如何。我们提出了 Device Passport，这是一种新的通道嵌入技术，可以学习专家和混合模型，将每个通道的功能活动和元数据作为输入。这与现有的嵌入方法形成对比，现有的嵌入方法通常仅使用功能信息或仅使用元数据来查找学习的或固定的位置嵌入。在受控子集传输实验和耳脑电图的实际传输中，Device Passport 总体上具有竞争力，并且比布局传输机制中最强的学习基线有所改进，从而推动了这项工作。这些结果表明，在新设备上重用大规模预训练生物信号模型时，通道嵌入设计是一个关键考虑因素。