语码转换揭示了多语言中的语言锚定 LLM

人们越来越期望多语言 大语言模型 (MLLM) 能够处理代码交换 (CS) 输入，但相对于源语言或目标语言单语言对应项，混合语言经常会降低性能。为了理解这种退化，我们使用语法强制 CS 作为受控诊断设置，用于相对于源和目标对应项定位 CS 表示。我们引入了锚定偏差，这是一种量化语言锚定的几何度量，即 CS 隐藏状态是否更接近其源语言或目标语言对应项。在不同的 MLLM 中，锚定偏差揭示了一致的语法框架效应：源框架 CS 保持源锚定，而目标框架 CS 向目标方向移动并显示出更大的问答 (QA) 退化。受这种表征模式的启发，我们提出了 CANVAS（基于上下文锚的神经向量对齐引导），这是一种推理时间干预，可从输入中提取源端画布，并在预填充期间将目标语言隐藏状态柔和地引导至源锚。 CANVAS 在 MLLM 和 CS 条件下一致地恢复 QA F1，这表明内部锚定信号为减轻 CS 推理失败提供了可行的目标。