探索函数向量中的语言不可知性：机器翻译案例研究

函数向量 (FV) 是上下文学习期间从模型激活中提取的任务的向量表示。虽然先前的工作表明多语言模型表示可能与语言无关，但尚不清楚这是否适用于函数向量。我们使用机器翻译作为案例研究来研究 FV 是否表现出语言不可知性。在三个仅解码器的多语言 LLM 中，我们发现从单个 English$\to$X 方向提取的翻译 FV 转移到其他目标语言，持续提高了多种未见过的语言的正确翻译标记的排名。我们进一步发现，最高增益的标记跨越多种语言，并且跨方向的翻译 FV 共享大部分排名最高的头，这表明 FV 编码很大程度上与语言无关的翻译信号，而不是特定于语言对的映射。