LLM 中的生产和感知：词元概率方法

语言产生和感知之间的不对称性已在心理语言学中得到充分证明。 大语言模型 (LLM) 是否表现出功能上类似的区别仍然是一个悬而未决的问题，特别是考虑到 LLM 依赖于相同的底层机制（下一个词元预测）进行输入和输出处理。在这项探索性研究中，我们通过直接的词元概率测量而不是元语言提示来操作生产感知区别。使用基本的 Llama-3.1-8B 模型，我们在生产提示下生成诗歌，并在改写的生产提示和面向感知的提示下重新对相同的标记进行评分。在使用四个生产提示和三个感知提示的扩展实验中，生产-感知距离持续且大幅超过生产-生产距离，不同条件下的范围不重叠，总体平均比率约为 1.8。生产-生产控制中接近天花板的相关性证实了该效果特定于交流框架而不是即时表面变化，并且我们展示了该效果在五个开放权重模型（Llama-3.1-8B、EuroLLM-9B、gemma-2-9b-it、Mistral-7B-Instruct-v0.3 和 Qwen2.5-7B-Instruct）中复制，涵盖基础变体和指令调整变体。时间分析表明，感知提示在序列开始时发挥最强的影响，随着生成的上下文的积累，分歧会衰减，尽管这种衰减的具体形状因提示对而异。这些发现表明，即使在仅解码器架构中，仅提示成帧也会导致 LLM 概率分布中的生产感知差异。