SPLIT：英语和乌克兰语的跨语言同理心和文化语境适配 LLM 回应

大语言模型 越来越多地应用于情感支持环境和危机相关情况。然而，他们在这种情况下的跨语言能力仍未得到充分开发。现有的基准强调多语言表现，但很少考察中低资源语言中与危机相关的同理心和文化语境适配。我们引入了 SPLIT，这是一个 500 条提示的基准，旨在评估 LLM 在生成五个类别的情感响应方面的一致性：压力、恐慌、孤独、内部位移和紧张。我们从三个维度评估了三个技术上不同的 LLM：同理心准确性、语言自然性以及语境和文化语境适配。该框架旨在评估和比较英语和乌克兰语 LLM 回答的质量，并探索 LLM 作为陪审团范式的可靠性。我们的研究结果表明，Gemini-2.5-Flash 和 LLaMA-3.3-70B-Instruct 在过渡到乌克兰语时会降级，而 DeepSeek-V3 在我们的基准测试中保持相对稳定。我们还发现，人类和人工智能评估者在同理心和自然性方面的共识很弱，但在文化语境适配上存在分歧。我们进一步认为，产生乌克兰语文本并不等于产生乌克兰语情感支持。我们的研究结果可能有助于未来开发更加适合文化的基准设计，并鼓励更加重视以人为本的评估。