Human-LLM 对非母语日语的语言态度的一致性

大语言模型 (LLM) 越来越多地在招聘和学术评估等高风险领域评估人类写作，使非母语人士面临特别的风险。利用语言态度框架，我们在三个维度上比较了人类和 LLM 对平行 L1 和 L2 书写的日语电子邮件的评估：流畅性、状态和团结。日本评分者在所有三个维度上对二语文本的评分都明显较低，流畅性差距大约是地位和团结差距的两倍。六位 LLM 评委重现了这种偏差的方向，五位评委重现了其跨维度的排序。这些模型在两个方面与人类不同：所有模型都低估了团结差距这一最具社会基础的维度，并且所有模型都对学习者的 L1 背景进行了区分，而人类则没有。因此，LLM 法官以结构化但弱化的形式再现了母语者的语言态度，而语言态度框架为在英语之外审核他们提供了现成的标准。