通用语言还是探索神器？重新思考多语言中的潜在语言 LLM

潜在语言识别通常用于论证多语言语言模型通过特定于语言的状态（例如英语枢轴）路由计算。然而，现有的探针从不同的信号推断潜在语言，例如隐藏状态的几何形状或可以从中间表示解码的内容。由于这些主张形成了关于模型如何跨语言共享和路由信息的结论，我们询问这些探测器是否测量相同的现象或揭示多语言计算的不同方面。我们跨模型系列、训练制度、领域、任务、检查点和多达 27 种语言研究这个问题。我们发现识别探针在系统上存在分歧：基于 GMM 的表示探针从隐藏状态几何中获取证据，显示出早期的跨语言混合，而基于解码的探针依赖于输出空间的可解码性，保留了更清晰的特定于语言和更偏向英语的信号。这些差异跟踪模型的多语言能力和训练进度，但在各个领域中相对稳定。我们的结果表明对潜在语言识别的解释更加谨慎，当前的探测揭示了多语言处理的不同方面，而不是直接揭示单一的内部通用语言。