从向后传播到向前重放：重新审视 LLM 参数编辑中的目标构建

LLM参数编辑方法通常依赖于在目标层（称为锚点）计算理想的目标隐藏状态，并将目标向量分布到多个先前层（通常称为后向传播）进行协作编辑。尽管广泛使用很长时间，但其底层基础尚未得到系统研究。在本文中，我们首先对其基础进行系统研究，这有助于明确其能力边界、实际考虑因素和潜在的故障模式。然后，我们提出了一种简单而优雅的替代方案，用前向传播代替向后传播。我们不是优化最后一个编辑层的目标，而是优化第一个编辑层的锚点，然后向前传播以获得所有后续编辑层的准确且相互兼容的目标隐藏状态。这种方法实现了与现有方法相同的计算复杂性，同时产生更准确的分层目标。我们的方法很简单，不会干扰初始目标隐藏状态的计算或后续编辑管道的任何其他组件，从而为广泛的 LLM 参数编辑方法带来好处。