论文
闭环:用于符号音乐生成中可解释激活控制的 PID 反馈控制
Closing the Loop: PID Feedback Control for Interpretable Activation Steering in Symbolic Music Generation
摘要
基于 Transformer 的架构极大地促进了复杂符号序列的生成,但在实现对离散信号属性的细粒度、可解释的控制方面仍然存在巨大差距。本文研究了多轨音乐 Transformer (MMT) 的机械解释性,并提出了一种无需重新训练的确定性属性调制框架,通过推理时间激活控制来弥补这一差距。利用均值差 (DiffMean) 方法,我们在残余流中隔离信号属性的潜在方向,特别是音高和持续时间。我们验证了该领域的线性表示假设,实现了转向幅度和属性转移之间的高度相关性。为了解决多属性转向中固有的特征纠缠,我们引入了利用 Gram-Schmidt 正交化的双转向框架。实验结果表明,与朴素矢量加法相比,这种几何解耦减少了概念干扰和信号衰减,即使在强自回归条件下也能实现独立的确定性控制。