用于全双工语音对话模型的对抗鲁棒性的心理声学对齐潜在平滑

端到端语音对语音对话模型同时听和说，因此连续开放的声学通道会受到对抗性操纵。我们将对全双工代理的难以察觉的攻击形式化为对限制在载波语音的心理声学掩蔽阈值之下的附加扰动的优化，其目标有三个：有针对性的语义劫持、响应抑制和策略越狱。针对不设防的 Moshi 式代理，白盒攻击的成功率高达 91.7%。然后，我们引入心理声学对齐潜在平滑（PALS），它在残差矢量量化潜在接口处注入由局部码书协方差形成的各向异性高斯噪声，输入噪声由限制攻击者的掩蔽阈值形成，并由 Kullback-Leibler 一致性目标训练。 PALS 部署时无需推理时间成本，可将劫持率降低至 8.3%，静音率降低至 11.2%，越狱率降低至 9.1%，且干净质量在 2.3% 以内。蒙特卡洛平滑变体证明椭圆体潜在半径高达 0.616，这是经验鲁棒性远远超过的保证下限。