研究提示和响应语言对 LLM 内容生成的影响

本研究探讨提示语言和响应语言如何影响 大语言模型 的行为。我们使用五个模型，评估了四种语言条件下 68 个非翻译问题的答案：英语到英语、英语到挪威语、挪威语到挪威语以及挪威语到英语。删除拒绝的项目后，数据集包含 1348 个响应。我们使用 Cohen d 测量长度差异，使用 LabSE 余弦相似度测量语义保真度，使用原始 Jaccard 和软 Jaccard 测量跨语言关键字重叠。提示语言对响应长度有很大影响。对于英语输出，挪威语提示可将响应缩短约百分之三十七。对于挪威语输出，英语提示可将响应缩短约百分之四十一。最大的跨语言对比显示字数减少，但标记减少幅度较小，反映了标记器的差异。尽管长度有所不同，但语义相似性仍然很高，并且软 Jaccard 揭示了原始 Jaccard 无法捕获的大量概念重叠。不同模型的效应大小各不相同，表明存在异质性。提示语言不是中性的，它系统地塑造输出长度和词汇实现，对多语言提示设计具有影响。