分数不等于结构：脑对齐与跨语言迁移

研究人员经常通过报告相似性分数来支持模型与大脑或跨语言共享结构的说法。我们询问，当共享结构不存在或测量共享结构的工具不起作用时，这样的分数会读什么。我们检查了两个设置，两个设置中的分数都不是看起来的那样。首先，经过训练以区分一种语言中的语法句子和不语法句子的 探针 会向更遥远的语言迁移更差的结果，这是共享结构的常见证据。但 探针 本身在同一轴上变得更糟：在 17 种语言中的 4 种中，它执行 处于随机水平，因此 272 个语言对中的 64 个是使用不起作用的工具进行评分的。放弃这些语言会使关系的强度减半，但它们也是最遥远的，这种设计无法将两种效果分开。计数也很重要：当 272 对被视为独立时，相同的数据给出 p = 0.0006；当 17 种语言被视为独立时，相同的数据给出 p = 0.155，这是正确的单位。其次，训练是一种匹配人脑反应的语言模型，其相似度得分从 0.10 提高到 0.34，上限为 0.54。在与大脑的对应关系被破坏的目标上训练的模型仍然得分为 0.31，因此只有 0.028 到 0.068 的上升是特定于大脑的。在完全没有模型的情况下，被摧毁的目标已经与真实目标相差 0.204，该下限跟踪目标的排名除以句子数量。最后，沿着自己的方向引导语言是有效的（在 17 种语言中的 16 种中，相对于随机方向 +6.2），但没有显示出随语言距离而变化的效果。在询问信件是否有帮助之前，先问问如果没有信件，乐谱中有多少内容可以保存下来。