论文

通过图集对齐的时空标记化进行宽场钙成像的跨受试者建模

Cross-Subject Modeling for Widefield Calcium Imaging via Atlas-Aligned Spatiotemporal Tokenization

模型训练预训练

摘要

大规模、多主体宽场钙成像提供了前所未有的全脑皮质动力学研究。然而,宽场记录中的高维度、复杂的时空结构和大量与任务无关的活动在很大程度上限制了单会话分析的建模工作,限制了可扩展性和泛化性。虽然已经针对某些神经模式探索了多受试者预训练模型,但用于宽场钙成像的多受试者模型尚未得到证实;此外,对于更广泛的跨神经模式的多主体模型来说,主体不变的零样本行为解码仍然难以捉摸。作为宽场数据基础建模的第一步,我们引入了 WiCAT,这是一种多主体模型,它利用自监督预训练来超越单会话模型,并实现对看不见的主体的零样本行为解码。 WiCAT 引入了基于图集的标记化方案,无需特定于会话的组件,并学习全局共享的时空表示。在多个宽场数据集上,预训练模型支持轻量级下游解码,跨主题、任务和数据集传输,并且性能优于基线模型。值得注意的是,该模型还实现了稳健的零样本连续行为解码和对未见过的受试者的左脑区域重建。