ROK-FORTRESS：衡量地缘政治转化对国家安全和公共安全的影响

大语言模型 (LLM) 的安全评估越来越多地针对高风险的国家安全和公共安全 (NSPS) 风险，但多语言安全性大多是通过保留基本场景的仅翻译基准来评估的，除了少数语言对之外，语言和地缘政治背景的相互作用在很大程度上未经审查。我们引入了 ROK-FORTRESS，这是一种双语、文化对抗性 NSPS 基准，它使用英韩语言对和美韩地缘政治轴作为案例研究，通过创译矩阵分离语言和地缘政治基础的影响：在 (i) 英语与韩语和 (ii) 美国与韩国实体、机构和操作细节的受控组合下评估对抗意图。每个对抗性提示都与一个双重用途的良性对应物配对，以量化过度拒绝，并且由经过校准的 LLM-as-a-judge panel 使用专家制作的、提示特定的二进制评分标准对响应进行评分。在一组前沿和韩国优化模型中，我们发现韩国变体具有一致的抑制效果，并且在地缘政治基础与语言相互作用方面存在显着的模型间差异；在模型的子集中，韩国语基础进一步减轻了语言驱动的抑制。这表明，至少在英语-韩语案例中，安全行为是由语言风险信号和仅翻译评估所忽略的上下文交互影响的。剥离越狱包装器的直接请求消融将闭源模型的小幅但持续的减少与开源模型相反的更大的、依赖包装器的效果分开，这表明韩国的抑制部分反映了迅速的专业化，而不是基于内在的基于语言的安全一致性。创译矩阵方法旨在推广到其他语言-文化对。