探究 LLM 超越普遍依赖的句法结构：英语的极简阶段说明

我们表明，LLM 编码了结构探针经过训练以恢复的通用依赖关系（UD）树距离中不存在的语法区别。在英语 wh 运动刺激上，我们测量嵌入主语与其动词之间的探测距离，其 UD 树距离在不同条件下保持不变。当嵌入子句是有限时，该距离比基线短；当嵌入子句是不定式时，该距离比基线长——我们测试的四个系列的所有 13 个模型中的大多数层都存在子句内符号不对称性。基于 UD 距离、线性顺序或单调结构复杂性的解释都不能产生符号反转，而极简相位理论可以。保持矩阵动词固定，同时仅改变补语类型，会在每个模型中重现相同的有限-不定式排序，从而排除词汇语义解释。交叉子句对分别重现了早期工作的阶段计数顺序，验证了探针。单个激活补丁交换子句选择矩阵动词，在 13 个模型中的 8 个模型中将两对移动到相反的方向。由于因果干预使目标字符串保持不变，因此它也排除了子句长度和表面提示的解释。这些结果共同揭示了 LLM 中超出 UD 探测目标的句法结构，并且极简主义阶段帐户与其一致。