论文

适应是双向的:研究人类和语言模型之间的语言趋同

Accommodation Goes Both Ways: Studying Linguistic Convergence Between Humans and Language Models

模型评测模型行为与机制分析

摘要

随着 LLM 越来越融入日常生活,理解它们的存在将如何塑造人类语言行为是一个悬而未决的问题。我们对人类与 LLM 对话中的语言融合进行了大规模研究,研究了人类和 LLM 在多轮对话中如何适应彼此的语言风格。使用 WildChat(现实世界 ChatGPT 转录本的语料库)上的非对称收敛指标,我们发现,虽然 LLM 在八种语言的功能词和开放类特征上明显向用户过度收敛,但在此设置中的人类收敛率与人类基线大致一致。这些发现表明,人类与 LLM 对话中的适应是不对称的:虽然 LLM 极大地过度适应了用户的风格,但人类在语言上适应 LLM 与其他人没有什么不同。