RABBiT：通过大脑调整的快速自适应 BOLD 基础模型，可准确预测大脑中语音引发的反应的零样本和少样本预测

大脑中的语言理解是依赖于上下文的，随着实验刺激和个体的不同而变化，这使得建立能够在两者之间推广的计算模型变得困难。这就需要一个语言诱发的大脑活动的基础模型，该模型可以捕获共享结构，同时有效地适应新的参与者和输入。我们介绍 RABBiT（通过 BraIn-Tuning 的快速自适应 BOLD 基础模型），这是一种紧凑的音频到 fMRI 编码器，专为精确的零次和少次预测而设计。对多个未见过的 fMRI 数据集的 324 名参与者进行的综合评估表明，RABBiT 能够准确地零样本预测跨听觉和语言选择性区域的自然语音的 fMRI 反应，超越了 fMRI 的 SOTA 基础模型和基于组平均值的预测。利用短短 10 分钟的参与者特定数据，RABBiT 通过参数高效调整进一步提高了性能，大大优于每个参与者的线性模型。 RABBiT 的性能由两项关键创新驱动：(1) 学习特定区域的注意力，(2) 将大脑反应分解为共享和特定主题的组件，并结合大脑调整的语音主干。除了支持强大的预测准确性之外，RABBiT 学习的结构化、特定于区域的表示还可以实现可解释性。通过消除对每个参与者的大量数据和模型拟合的需要，RABBiT 能够对人脑中的语言进行可扩展的群体水平分析。我们在 https://github.com/bridge-ai-neuro/rabbit 提供代码。