黎曼激活转向的条件最优桥

激活转向提供了 微调 的轻量级替代方案，用于在推理时控制 大语言模型。虽然许多现有方法隐式优化所需激活分布和非所需激活分布之间的对数密度比目标，但它们是启发式的，而不是从原则性优化问题中得出。此外，这些方法会产生独立于查询的转向方向，从而降低分布内和分布外 (OOD) 输入的性能。我们引入了 \textsc{Cobras} （黎曼激活转向的条件最优桥），它通过将激活转向作为剩余流超球面上的薛定谔桥来解决这两个限制。据我们所知，这个公式从适定优化问题中得出了对数密度比转向目标的第一个原则推导。通过熵最优传输求解桥并提取概率流 ODE 可以恢复广泛使用的密度比梯度，作为 Sinkhorn 势均匀时的特殊情况。至关重要的是，薛定谔势在当前激活时进行评估，从而使生成的转向方向本质上具有查询自适应性。根据经验，在四个模型和三个对齐轴（有用性、真实性和解毒性）中，\textsc{Cobras} 始终优于先前的激活引导基线，同时避免了现有方法中常见的 OOD 退化。代码可以在 https://github.com/arshandalili/cobras 找到。