多语言中的语言形状指令层次结构合规性 LLM

指令层次结构 (IH) 要求模型按源对指令进行优先级排序，确保较高优先级指令覆盖较低优先级指令。尽管其对于安全和可控部署很重要，但现有的评估几乎完全集中在英语上，因此尚不清楚 IH 合规性在多语言环境中是否保持稳定。我们推出了 XIH-Bench，这是一种多语言 IH 评估基准，涵盖六种语言、四个领域和三种 IH 设置的同语言和跨语言冲突。在各个模型中，我们发现了两种一致的模式。首先，IH 合规性表现出明显的语言依赖性不对称性：在较高优先级位置加强合规性的语言可能会在较低优先级位置变得具有破坏性。其次，跨语言冲突比同语言冲突产生更高的合规性，我们将这种现象称为“语言边界效应”。我们进一步表明，语言专业化可以使模型青睐的语言中的低优先级指令更难被覆盖，从而产生多语言可靠性和安全风险。