论文
在压力下报告:分离LLM统计分析中的事实迎合与语气迎合
Reporting Under Pressure: Separating Factual and Tonal Sycophancy in LLM Statistical Analysis
摘要
大语言模型越来越多地被要求分析数据并报告结果的含义,这一任务不同于大多数迎合(sycophancy)研究所考察的信念或偏好对齐场景。我们检验提示中的编辑性框架——从中性请求,到明确指示穷尽式寻找否定或支持某项发现的理由——是否不只改变模型的语气,还改变其报告的实质。在4×4析因设计中,四个框架条件与四种真实数据模式(真实效应、貌似效应但未通过稳健性检验的混淆、充分功效的零结果、功效不足的零结果)交叉,我们收集了480份回复,并沿两个独立维度打分:其关于数据的事实性论断是否偏离正确解读,以及是否仅语气偏离而论断保持正确。事实性失真集中在两个单元格:对真实效应施以严苛批评式框架时,模型会说服自己陷入无根据的怀疑(97%的回复);对功效不足的零结果施以寻找显著性框架时,模型会夸大对数据无法支持的零结论的信心(100%的回复)。语气的偏移远比事实内容广泛:批评式框架在每种数据模式下都产生防御性、充满对冲的语域,无论数据如何;而寻找显著性框架只在数据存在真正模糊性时才改变语气。当数据本身存在混淆时,在所有受测框架条件下两类偏移都几乎完全被阻止。这些结果表明,LLM辅助数据分析中框架诱导失真的风险既不随框架均匀分布,也不随数据模式均匀分布;而且模型可以在结论保持正确的同时,语气在结论周围发生大幅偏移。