论文
TWS:以行为事件构建跨会话神经数据token
Neural Data Needs Semantic Tokenization: Behavioral Events as Boundaries of Session-Transferable Tokens
摘要
细胞外电生理在每次会话记录不同的神经元集合。神经基础模型把神经元和会话编码进token,因此每个新会话都是从未见过的输入,难以泛化。新会话的tokenizer需要一个各会话共享且携带行为信息的单位。神经群体活动提供了这样的单位:会话对齐后,其低维流形在神经元更替和不同动物间持续存在。该流形在刺激开始、运动开始等任务事件处改变状态区间;每个区间中,群体占据两个事件之间流形的一部分,该状态有自身行为含义。我们提出状态token化(TWS),在这些事件处分割每次试验,即任务的一次重复,并把每个状态转换为群体几何token,不使用神经元或会话嵌入。在留出的International Brain Laboratory(IBL)会话中,即使状态区间边界不包含目标信息,TWS也能解码运动,而在这些会话上预训练的逐神经元基础模型仅达到随机水平。仅在小鼠上训练后冻结,TWS只需线性探针即可迁移到猕猴和Utah阵列。对于边界并未定义的伸手方向目标,其Matthews相关系数为0.23,而仅用事件时间为0.01。对于跨会话泛化,token比其上的模型更重要。