通过条件尺度熵对纯解码器语言模型中的隐喻处理进行事后理解

隐喻需要一个语言模型来解析上下文含义与其基本字面意义不同的标记。了解 Transformer 模型如何跨深度组织这种重新解释仍然是机械解释方面的一个悬而未决的问题。我们引入了条件尺度熵（CSE），这是一种小波导出的度量，用于衡量 Transformer 计算在每个层位置的频率尺度上的参与程度。两个定理证明 CSE 对于更新幅度是不变的，从而将更新的结构模式与其强度分开。使用 CSE，我们发现隐喻标记在测试的每个仅解码器架构的连续层位置上产生的频谱宽度明显高于文字标记，从 124M 到 20B 参数（GPT-2 系列、LLaMA-2 7B、GPT-oss 20B）。该效应在基于聚类的排列校正后仍然存在，在模型的早期到中期相对深度范围内重复出现，并通过对 200 个自然 VUA 对的独立分析进行收敛。特异性控制进一步表明，效果不能通过语义复杂性或匹配的命题内容来解释。这些结果将多尺度协调识别为所检查的仅解码器架构中隐喻语言处理的一致签名，并将 CSE 确立为表征 Transformer 中跨深度结构的原则工具。