短视野和稀疏概念：J 透镜中读数的数学视图

雅克比透镜（J-lens）被提议作为从语言模型中读取可言语表示的一种方法。但其原理和意义缺乏详细的理论探讨。我们提供了这种解释及其假设的因果结构的数学观点。除了将 J 透镜视为启发式探针外，我们还进一步将其视为从中间激活到预期未来读数的一阶因果转移算子。我们研究雅可比矩阵作为下游映射的最佳局部线性近似，分析其全局近似行为和偏差，并将其数学含义确定为对预期未来读数的期望。对雅可比能量分布的进一步分析表明，其因果几何结构是高度稀疏的。能量随深度衰减，集中在极小的比例，并分解成对角路径和特定的临界位置。这种分解进一步将 J-lens 对未来输出的期望解析为短时域和稀疏概念预测，为 J-lens 在思维过程中可视化概念的能力提供了更直观的归因和解释。基于该理论，我们提出了一种简单但有效的J-lens改进策略和解耦方法，显着增强了J-lens读出正确中间概念的能力。