论文

为玩而推理:前沿LRM与人类游戏学习者的行为与脑对齐

Reason to Play: Behavioral and Brain Alignment Between Frontier LRMs and Human Game Learners

模型评测模型行为与机制分析

摘要

人类在遇到新环境时会快速学习抽象知识,并灵活运用这些知识来指导高效、智能的行动。现代人工智能系统可以以类似的方式学习和规划吗?我们使用复杂的人类游戏玩法和并发功能磁共振成像记录的数据集来研究这个问题,其中参与者学习需要规则发现、假设修正和多步骤规划的新颖视频游戏。我们通过模型在同一任务中玩游戏、匹配人类学习行为和预测大脑活动的能力来共同评估模型,将一套前沿大型推理模型 (LRM) 与无模型和基于模型的深度强化学习代理以及基于贝叶斯理论的代理进行比较。我们发现,前沿 LRM 在游戏发现过程中与人类行为模式最为匹配,并且比皮质和皮质下区域的强化学习替代方案更好地预测大脑活动一个数量级,并且对排列控制具有稳健的效果。通过有针对性的操作,我们进一步表明大脑对齐反映了模型对游戏状态的上下文表示,而不是其下游计划或推理。我们的结果将 LRM 确立为复杂自然环境中人类学习和决策的令人信服的计算帐户。具有交互式重播的项目页面:https://botcs.github.io/reason-to-play/

为玩而推理:前沿LRM与人类游戏学习者的行为与脑对齐:论文配图
图 S21:与之前在播客故事收听过程中使用 Transformer 表示的 fMRI 编码工作的比较。图复制自 Kumar 等人之前的工作。 [44]。体素带状岭回归(与我们的方法相同,报告控制特定领域的干扰回归量的主带性能),使用 BERT 嵌入(蓝色)和 BERT 注意力头转换(红色)来预测受试者听口头故事时的 BOLD 活动。 (左)编码精度表示为每个 ROI 的噪声上限百分比 (%NC=r/rceiling\%\mathrm{NC}=r/r_{\mathrm{ceiling}})。 (右)每个 ROI 的噪声上限,计算为平均受试者间相关性 (ISC)。这些共同允许近似恢复每个 ROI 中最强 BERT 条件的绝对 Pearson rr:r≈ISC×(%NC/100)r\approx\mathrm{ISC}\times(\%\mathrm{NC}/100)。与我们在共享或解剖学上相似的 ROI 中的编码精度(图 S20)相比:在 MFG(两篇论文的 r≈0.04r\approx 0.04)和角回(两篇论文的 r≈0.04r\approx 0.04)中,绝对值几乎相同;在 PCUN 中,我们的 LRM 实现了大约两倍于之前工作的 PMC 值(r ≈ 0.06r\约 0.06 vs. 约 0.03 \约 0.03);在古典语言区域,我们的值较低(IFG:r≈0.04r\approx 0.04 vs. ≈0.08\approx 0.08;AntTemp/MTG:r≈0.05r\approx 0.05 vs. ≈0.12\approx 0.12),与范式的差异一致:语言理解与交互式游戏学习。这种比较的目的不是要声明范式之间的等效性,而是要确定我们的主要图中报告的绝对 rr 幅度在已发表的功能磁共振成像语言模型编码工作中观察到的范围内,而不是极低。