LLM 情境学习中数值序列表示的图信号处理视角

预训练的 大语言模型 (LLM) 已展示了上下文学习 (ICL) 功能，可对序列化为文本的序列进行数值推理。先前的工作主要通过预测误差等输出级评估来识别和表征这种形式的数值推理。然而，数字信息如何在 LLM 表示中组织仍然知之甚少。为了研究这种内部组织，我们采用图信号处理的视角，其中注意力在词元上产生加权图，而词元隐藏状态定义其节点上的信号。定量图谱诊断和定性标记图可视化表明，随着上下文长度的增加，输入动态复杂性的表示变得更加清晰地区分。更简单的输入会产生具有更强的全局连接性和更平滑、频谱集中的隐藏状态信号的注意力诱导词元图，而更复杂的输入会产生更局部的图和隐藏状态信号，具有更广泛的频谱支持和更大的高频能量。总之，这些发现指出了与数字 ICL 相关的系统性、上下文相关的内部特征，这些特征在模型家族中是保守的。