跨语言事实一致性的潜在空间干预：在不降低准确性的情况下提高一致性

大语言模型 (LLM) 通常在不同语言中以不同的方式回答相同的事实问题。我们研究跨语言潜在空间干预是否可以减少这种不一致。我们在并行多语言表示上训练特定于层的自动编码器，并将推理时间校正应用于实际的 QA 提示。我们发现，潜在干预改善了语言之间的几何对齐，并且这种改善转化为在开放式和多项选择问答格式中与英语的跨语言一致性的持续收益，而不会降低事实准确性。在开放式问答中，Spearman 英语和非英语语言之间的排名相关性显着提高，英语-阿拉伯语组的增益为 0.16，英语-俄语组的增益为 0.20。在多项选择 QA 中，KLAR 和 mParaRel 的答案与英语的一致性不断提高。消融表明，AE 重建在没有准确性成本的情况下产生一致的增益，而 PCA 投影的贡献很小，而均值漂移在开放式 QA 中以一定的准确性为代价产生了更大的一致性增益。