情境学习作为概念子空间学习运行

情境学习 (ICL) 的回归和贝叶斯解释解释了演示如何引发预测，而机械分析通常会识别引导提示行为的紧凑激活方向。然而，目前尚不清楚结构化演示是否会引发低维概念推理。我们通过 ICL 的概念子空间视图来研究这个问题，其中任务仅沿着内在概念坐标变化，尽管输入是在高维环境空间中观察到的。对于岭和最小二乘 ICL 代理，预测完全分解为概念坐标回归和子空间外泄漏。在块对角线或近块对角线协方差假设下，主要估计和干扰敏感项随概念子空间的维度缩放，而残余效应由跨子空间耦合控制。这种分离给出了机械预测：可恢复的任务信息应该集中在低维、任务对齐的激活子空间中。在使用 Llama-3-8B 的 CounterFact 派生多重关系提示上，4096 维残差流的 68--73 维子空间恢复了 78.8% 的干净损坏的准确度差距，而修补互补子空间则恢复了 0%。概念交换将预测重定向到注入关系，而随机和跨任务匹配排名控制在很大程度上是无效的。 Qwen2.5-7B 和受控跨语言规则任务的其他实验显示了相同的定性模式。这些结果支持概念子空间作为结构化任务族中可恢复 ICL 行为的紧凑、任务对齐中介，而不意味着全电路恢复。