联合多语言语音的组件感知差分隐私-LLM

每层差分隐私 (DP) 裁剪通过分配与参数计数成比例的每矩阵裁剪预算来提高联邦学习中的梯度保真度。我们证明，当声学编码器和语言解码器在更新范数上存在一个数量级差异时，这个配方会破坏语音 大语言模型 (speech-LLM)。单池每层方法遭受 \emph{跨组件预算崩溃}，将单词错误率 (WER) 拖到远离平坦全局裁剪或完全崩溃的训练。当范数不平衡程度较轻时，自适应单池方法会部分恢复，从而确认崩溃严重程度与组件间范数比成正比。我们通过六种每层方法和三种语音 LLM 架构凭经验诊断根本原因。然后，我们提出 \emph{$α$-split}，一种双池分配，将编码器和 LLM 参数归一化为独立池，并表明联合 $\ell_2$ 灵敏度和原始 $(\varepsilon,δ)$-DP 保证不变。在架构校准 $α$ 下，与平面 DP 相比，我们的方法恢复了 WER 实用性，同时为编码器提供了 $4.47{\times}$ 更严格的每个组件噪声保护，以防止基于说话人语音的梯度反转攻击，而仅需 $+2.6\%$ LLM 噪声开销。