LLM 表示中的反问句：线性探究研究

提出反问句不是为了寻求信息，而是为了说服或表明立场。 大语言模型 在内部如何表示它们仍不清楚。我们使用线性探针在两个具有不同话语上下文的社交媒体数据集上分析 LLM 表示中的修辞问题，发现修辞信号出现较早，并且最稳定地被最后一个标记表示捕获。反问句与数据集中的信息搜索问题是线性可分离的，并且在跨数据集传输下仍然可检测到，AUROC 达到 0.7-0.8 左右。然而，我们证明可转移性并不简单地意味着共享表示。在不同数据集上训练的探针在应用于同一目标语料库时会产生不同的排名，排名靠前的实例之间的重叠通常低于 0.2。定性分析表明，这些分歧对应于不同的修辞现象：一些探索捕捉了延伸论证中嵌入的话语层面的修辞立场，而另一些则强调局部的、句法驱动的疑问行为。总之，这些发现表明，LLM 表示中的反问句是由强调不同线索的多个线性方向编码的，而不是单个共享方向。