聊天机器人采用哪些制度框架？审计多语言 LLM 中的管辖权默认值

LLM 越来越多地回答有关税收、劳动保护、医疗保健、教育、养老金和行政程序的问题，这些问题的有用性通常取决于适用的司法管辖区。多语言用户可以使用他们最舒服的语言来书写，而不是与规则适用的国家或地区相关的语言。我们询问部署的LLM在提示省略任何国家或地区时是否使用输入语言作为默认管辖信号。先前的多语言审计表明，及时的语言可以改变文化、政治或规范的产出；我们研究了当管辖权未明确时可以提供哪些法律行政框架模型。我们在三种系统提示条件下对美国或中国开发的 7 个 LLM 进行了评估，对 60 个未指定的英语和普通话法律行政提示进行了评估，产生了 2,520 个手动注释的响应。在不同的模型和条件下，中文输入更经常产生针对中国的答案，而英文输入更经常产生针对美国的、比较的或通用的答案。需要单一答案的提示进一步增加了司法管辖区的选择：综合各模型，74.5% 的英文输入答案采用美国框架，而 53.3% 的中文输入答案采用中国框架。这种方向模式出现在所有七个模型中。我们将这种部署级别模式描述为机构框架错误选择风险：流畅的答案可能依赖于用户不希望的法律管理环境，尤其是当他们的首选语言与相关司法管辖区不同时。 LLM 界面不应仅通过输入语言传递机构建议；当位置不存在时，他们应该提出要求或说明答案的管辖范围。