使用 IndicKLAR 评估印度语言混合代码中的跨语言知识一致性

大语言模型 在同等知识查询上，在英语和资源匮乏的语言中的表现经常表现出巨大的差距——印度语言及其代码混合对应语言的跨语言一致性问题仍未得到充分研究。为了研究这一差距，我们引入了 IndicKLAR，它是 KLAR-CLC 基准的印度语扩展，涵盖 22 种印度语言中的 18 种。对于 11 种广泛使用的语言对，我们还提供了代码混合变体。单语和代码混合输入均由母语人士验证。这种三向对齐使我们能够检查英语、代码混合和印度本土语言输入的知识回忆一致性如何变化。在九个开放权重模型中，我们发现母语和英语输入之间的准确率差距可达 $\sim$0.50，而代码混合输入大大缩小了这一差距，在没有任何模型级干预的情况下，将英语的性能提高到 $\sim$0.05 以内。受这一发现的启发，我们评估了几种在语言转换的显式暴露方式上有所不同的提示策略：两阶段翻译然后回答设置、一阶段联合翻译和回答提示以及思维翻译（TinT）——一种单步策略，其中模型在内部转换输入并仅输出最终答案。在原生 $\rightarrow$ 代码混合 $\rightarrow$ 英语性能轨迹中，我们观察到原生和代码混合设置之间一致的翻转点——从错误预测到正确预测的转变。值得注意的是，当显式提供代码混合表示作为输入或提示模型使用 TinT 进行内部转换时，此模式都适用。