黎曼流形转向：用于无标签转向的几何感知生成自动编码器

引导语言模型 - 干预其内部激活以改变下游行为 - 最近已从线性插值扩展到非线性方法，例如角度和核化引导，这些方法定义干预变换，而无需学习激活空间中路径的显式几何形状。新引入的几何感知流形方法确实可以学习这样的几何形状，但需要标记的类质心以及规定的循环或顺序结构。这些假设限制了流形转向的应用范围，因为现有结构需要标记的质心和兼容的边界条件。我们将流形转向更广泛地重新定义为激活空间上的\textbf{黎曼测地线计算}，在特定的度量选择下将线性和标记样条转向恢复为测地线。该框架内的一个原则性度量是拉回到激活的输出空间海灵格距离；我们用一个学习编码器来近似这一点，该编码器在一个小的概念标记模式上训练输出距离——没有每个提示标签，没有先验拓扑，也没有每个任务曲线拟合。根据经验，该方法在标准四任务语言模型算术基准中的所有任务中可靠地将模型驱动到目标类，同时遵循比较小输出空间上的基线更行为自然的轨迹。因此，我们为流形转向提供了一个统一的黎曼框架，以及一个模式监督的、无标签的实例化，该实例化在没有标记质心或规定边界条件的情况下运行。