论文

必须抓住它们:阿谀奉承的模式

Gotta Catch them all: the modes of Sycophancy

模型评测模型行为与机制分析

摘要

大语言模型 经常以牺牲事实准确性为代价来迎合用户的信念,这种行为被称为阿谀奉承。先前的机制研究很大程度上将阿谀奉承视为可以统一放大或抑制的单一行为维度。我们通过分析 948 种社会压力情境中的三种假设的阿谀奉承模式来挑战这一假设。尽管这些模式产生高度相似的输出,并且纯文本分类器仅实现 57.8% 的准确度,但它们的内部表示从第 14 层开始完全线性可分。我们进一步发现这些模式出现在不同的处理阶段,依赖于不同的注意力回路,并且在不同的输入上发挥最强的作用。这些结果表明,阿谀奉承并不是一种整体趋势,而是一个由代表性和计算上不同的模式组成的结构化家族,激发了更精确的测量和干预。