思维能力：语义 fMRI 神经语言解码中的 Llama 3.2 基准测试并改进 Huth 编码模型基线

从功能磁共振成像信号中解码连续语言仍然是非侵入性脑机接口研究的核心挑战。我们提出了两项​​互补的研究。首先，我们改进了 Huth 等人的方法。通过扩展体素选择（10K->15K）、用 GPT-2 介质替代 GPT-1 作为波束搜索提议模型以及 GPU 加速引导训练，使用岭回归编码管道，在主题 UTS03 的三个保留叙述中实现平均 METEOR = 0.149 和 BLEU-1 = 0.200 - 相对于我们的复制基线获得 11% 的 METEOR 增益。其次，我们介绍了 fMRIFlamingo，它通过学习的大脑分词器和感知器重采样器将 BOLD 活动映射到冻结的 Llama-3.2-1B，并具有可训练的门控交叉注意层。尽管在百分之一的排名任务中实现了 42.86% 的 Top-1 准确率（远高于偶然性），但使用归零 fMRI 输入的盲目控制消融会产生几乎相同的分数，这表明明显的解码成功主要是由冻结语言先验驱动的，而不是由神经输入驱动的。这些结果表明，高容量语言模型本身并不能改善功能磁共振成像解码，并且可以在没有严格盲控评估的情况下主动掩盖故障。