论文
答案盆地表征假说:我们不是在探索或引导概念
The Answer-Basin Representation Hypothesis: We Are Not Probing or Steering Concepts
摘要
线性表示假说将高级概念与语言模型中的方向相关联,但仍不清楚这些与概念相关的线性结构在模型中是如何组织的。我们提出答案盆地表示假设:模型的连续分布对答案引起的概率测度组织这些线性结构,其统计数据沿着跨问题共享的线性方向表示。所有产生相同答案的延续形成一个答案盆,其质量是它们的总概率。这些盆地质量定义了答案的前推概率度量。我们假设与概念相关的线性结构是由答案测量的差异产生的,而不是由概念标签的变化决定的。跨模型和任务的实验将概念一致性效应及其在探测和转向中的逆转与概念标签和答案测量之间的一致性联系起来。